KR20220000191A - Proxy Modeling과 DeltaMush 기법을 이용한 Cage Weight 방법 - Google Patents

Proxy Modeling과 DeltaMush 기법을 이용한 Cage Weight 방법 Download PDF

Info

Publication number
KR20220000191A
KR20220000191A KR1020200077842A KR20200077842A KR20220000191A KR 20220000191 A KR20220000191 A KR 20220000191A KR 1020200077842 A KR1020200077842 A KR 1020200077842A KR 20200077842 A KR20200077842 A KR 20200077842A KR 20220000191 A KR20220000191 A KR 20220000191A
Authority
KR
South Korea
Prior art keywords
modeling
deltamush
weighting
proxy
cage
Prior art date
Application number
KR1020200077842A
Other languages
English (en)
Other versions
KR102366693B1 (ko
Inventor
송밝음
최동혁
Original Assignee
동서대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동서대학교 산학협력단 filed Critical 동서대학교 산학협력단
Priority to KR1020200077842A priority Critical patent/KR102366693B1/ko
Publication of KR20220000191A publication Critical patent/KR20220000191A/ko
Application granted granted Critical
Publication of KR102366693B1 publication Critical patent/KR102366693B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본발명은 Proxy Modeling과 DeltaMush 기법을 이용한 Cage Weight 방법에 관한 것으로, 프록시 모델링(Proxy Modeling)을 활용하여 웨이팅을 구현. 프록시 모델링 주변의 캐릭터 모델링 벌택스(vertices)들을 찾아내어 웨이팅을 적용하는 것으로,
본발명은 Proxy Modeling과 DeltaMush 기법을 이용한 Cage Weight 방법에 의해 관절과 관절 부위에 왜곡된 형태가 없이 부드럽게 처리되는 현저한 효과가 있다.

Description

Proxy Modeling과 DeltaMush 기법을 이용한 Cage Weight 방법{Cage Weight method using Proxy Modeling and DeltaMush}
본발명은 Proxy Modeling과 DeltaMush 기법을 이용한 Cage Weight 방법에 관한 것으로, 보다상세하게는 웨이팅을 효과적으로 적용하기 위한 Cage Weight 툴을 개발한 것으로, 관절의 거리 값으로 웨이팅 값을 부여하는 방법 대신 프록시 모델링(Proxy Modeling)을 응용하여 웨이팅을 효과적으로 적용하는 새로운 방안을 구현하며,
델타무시(DeltaMush) 기법을 추가 활용하여 쉽고 편리하게 최적의 웨이팅 적용 방식인 Proxy Modeling과 DeltaMush 기법을 이용한 Cage Weight 방법이다.
일반적으로 최근에 개발한 많은 웨이팅 플러그인 툴들은 주로 관절의 위치에서 근접한 모델링의 벌택스(vertex)에 웨이트 값을 비율로 적용하여 구현하는 것이다.
종래기술인 등록특허공보 등록번호 10-1775839호에는 가상의 캐릭터를 만들 수 있고 애니메이션 편집 또는 합성이 가능한 소프트웨어 프로그램에서 제작된 모델링에서 수정하고자 하는 부분을 그래픽 사용자 인터페이스를 제공하는 플러그인 프로그램을 통하여 데이터를 변경하여 입력한 후, 상기 입력된 데이터를 기반으로 모델링의 격자(Lattice)를 스크립트를 통해 연산 및 동작처리하여 모델링의 보다 정교한 동작을 만들기 위한 변형을 최적화하여 모델링에서 스킨웨이트가 적용되기 힘든부분들에 스킨웨이트를 간단히 적용함으로써 입력한 데이터를 기반으로 최종 생산물(output)을 획득할 수 있는 것으로,
본 발명 격자를 스킨웨이트에 적용하기 위한 그래픽 사용자 인터페이스 제공방법는 조인트(joint)와 기하학구조(geometry)를 선택하여 격자(lattice)을 적용한 후, 스킨웨이트(skinweights)로 변환하기 편리한 그래픽 사용자 인터페이스(GUI, graphical user interface)를 제공하는 플러그인 프로그램을 제공하고, 특히, 상기 그래픽 사용자 인터페이스를 제공하는 플러그인 프로그램을 통해 사용하기 편리하도록 스킨웨이트(skinweights) 생성시 격자(lattice)를 빠르게 적용하여 작업 진행을 효과적으로 하며, 캐릭터 셋업 시 불필요한 시간을 줄이며, 분리된 모델링을 직관적이 되도록 변형하고, 옵션을 활용하여 캐릭터의 특징과 성향에 따라 격자를 다르게 적용 가능한 격자를 스킨웨이트에 적용하기 위한 현저한 효과가 있는 구성이 공개되어 있다.
또한, 종래기술로서 등록특허공보 등록번호 제10-1102778호의 리깅 복제를 통한 캐릭터 리깅 자동화 방법 및 장치에 의하면, 원본 캐릭터의 원본 모델 및 원본 리깅과 대상 캐릭터의 대상 모델을 제공하는 단계; 상기 원본 모델의 메시와 상기 대상 모델의 메시 각각에 대해, 상기 원본 모델의 메시로부터 상기 대상 모델의 메시로의 모핑(morphing)을 위한 대응점들을 선택하는 단계; 상기 대응점들에 기초한 상기 메시들의 공통 파라미터화(crossmesh parameterization)를 통해, 상기 원본 모델의 메시와 상기 대상 모델의 메시 사이의 표면 상관관계를 계산하고 모핑 케이지를 생성하는 단계; 상기 표면 상관관계 및 모핑 케이지에 기초한 케이지 기반 변형(cage-based deformation) 연산을 통해, 상기 원본 모델의 메시 내부의 공간들의 3차원 위치와 대상 모델의 메시 내부의 공간들의 3차원 위치 사이의 공간 상관관계를 계산하는 단계; 상기 원본 모델과 대상 모델 사이의 공간 상관관계 및 표면 상관관계를 이용하여, 원본 리깅의 리깅 요소의 3차원 위치 및 속성에 대응하는 대상 모델 내의 3차원 위치 및 속성을 계산하는 단계; 및 상기 대상 모델 내의 상기 계산된 리깅 요소의 3차원 위치 및 속성에 기초하여 대상 리깅을 생성하는 단계를 포함하는 복제 기반 리깅 자동화 방법이라고 기재되어 있다.
그러나 최근에 개발한 많은 웨이팅 플러그인 툴들은 주로 관절의 위치에서 근접한 모델링의 벌택스(vertex)에 웨이트 값을 비율로 적용하여 구현하는 것이며, 그러나 모델링의 표면이 관절에 가깝다고 그 관절을 많이 따라 움직이는 것은 아님. 또한 모델링의 특정 부분들은 다관절과 맞닿는 부분들이라 어느 관절에 웨이팅 값을 적용해야 할지 어려운 부분도 생긴다.
캐릭터의 특징과 성향에 따라 페인트 스킨 웨이트(Paint skin weight)으로는 칠하는 방식이 많이 달라져 자동 구현에 어려운 문제에 직면된다. 아직까지는 캐릭터 웨이팅(weighting)은 많은 부분 수작업으로 칠해야 하는 분야이기에 작업 시간이 길어져 효과적인 웨이팅 방식 을 발명한 것이다.
현재 많은 웨이팅 툴이 개발되고 있으나 아직까지도 수작업으로 처리해야 하는 부분이 많다.종래기술인 도 1처럼 마야 인터페이스 상에서 바인드 방식(Bind Method) 두 가지가 제시된다.
Closest Distance방식은 마야 기본 디폴트(Default)으로 설정되어 있는 방식이다. 그림 Closest distance에서와 같이 특정한 부위(허리 찌그러지는 문제), 발 형태의 왜곡현상 등의 문제들이 발생한다. Geodesic Voxel 방식은 이러한 문제들을 해결하려 새롭게 고안된 방식으로 다리 형태 외곽은 많이 좋아졌으나 여전히 많은 문제들이 발생한다. 도 1의 그림 Geodesic Voxel에서 보이는 것 처럼 머리 및 허리 찌그러지는 문제들이 발생한다. 그러므로 그림에서 보여주는 바와 같이 추가로 페인트 웨이팅을 칠하여 왜곡된 형태들을 수정해야 하는 단점이 있다.
따라서 본 발명은 상기와 같은 문제점을 해결하고자 안출된 것으로, 기존의 웨이팅의 문제점들을 보완하고자 프록시 모델링을 활용하여 웨이팅 값을 적용,델타무시(DeltaMush) 기능의 장점들을 추출하여 웨이팅에 추가 적용하는 Proxy Modeling과 DeltaMush 기법을 이용한 Cage Weight 방법을 제공하고자 하는 것이다.
본발명은 Proxy Modeling과 DeltaMush 기법을 이용한 Cage Weight 방법에 관한 것으로, 프록시 모델링(Proxy Modeling)을 활용하여 웨이팅을 구현. 프록시 모델링 주변의 캐릭터 모델링 벌택스(vertices)들을 찾아내어 웨이팅을 적용하는 것을 특징으로 한다.
따라서 본발명은 Proxy Modeling과 DeltaMush 기법을 이용한 Cage Weight 방법에 의해 관절과 관절 부위에 왜곡된 형태가 없이 부드럽게 처리되는 현저한 효과가 있다.
도 1은 종래의 마야 인터페이스 상에서 바인드 방식(Bind Method) 두 가지 제시[Closest distance] [Geodesic Voxel]도
도 2는 본발명의 Cage Weight 절차도
도 3은 DeltaMush 원리도
도 4는 본발명의 DeltaMush 적용한 웨이팅을 스킨웨이트 노드 하나로 통합하는 절차도
도 5는 본발명의 Cage Weight을 통한 웨이팅설명도
본발명은 Proxy Modeling과 DeltaMush 기법을 이용한 Cage Weight 방법에 관한 것으로, 프록시 모델링(Proxy Modeling)을 활용하여 웨이팅을 구현. 프록시 모델링 주변의 캐릭터 모델링 벌택스(vertices)들을 찾아내어 웨이팅을 적용하는 것을 특징으로 한다.
또한, 추가로 델타무시 기법을 활용하여 관절과 관절 부위에 부드럽게 처리하고, 부드럽게 처리된 값들을 추출하여 캐릭터 스킨웨이트에 적용하는 것을 특징으로 한다.
또한, 특정한 관절(joint)에 웨이팅 값들을 복사하고 붙이는 구현을 하기 위하여 Maya API의 getWeight, setWeight 의 활용하는 것을 특징으로 한다.
본발명을 첨부도면에 의하여 상세히 설명하면 다음과 같다.
도 1은 종래의 마야 인터페이스 상에서 바인드 방식(Bind Method) 두 가지 제시[Closest distance] [Geodesic Voxel]설명도, 도 2는 본발명의 Cage Weight 절차도, 도 3은 DeltaMush 원리도, 도 4는 본발명의 DeltaMush 적용한 웨이팅을 스킨웨이트 노드 하나로 통합하는 절차도, 도 5는 본발명의 Cage Weight을 통한 웨이팅설명도이다.
곧, 본발명은 도2처럼 이러한 왜곡된 형태들의 문제들을 극복하고자 프록시 모델링을 활용하여 웨이팅 적용하는 방식을 개발한 것이다.
캐릭터 모델링에 프록시 모델링을 입힌다. 프록시 모델링을 키워 Cage Modeling을 다시 제작. 기존에 ProxyModeling 자동화 생성 툴을 활용하여 쉽게 Cage Modeling 제작하며,
각 Cage Modeling 부분별 형태 안에 3D 캐릭터 모델링의 점(vertices)들을 찾아 웨이팅 부여한다.
델타무시(DeltaMush)를 활용하여 딱딱한 부분들 부드럽게 처리한다.
불필요한 델타무시 노드를 지우기 위해 기존의 캐릭터에 웨이팅이 잘 나온 델타무시 웨이트를 복사 및 적용(적용하는 방식은 Bake Deformation to skin weights를 활용)한다.
델타무시 노드 지우기
도 3처럼 델타무시(DeltaMush)방식은 그림에서 보듯이 딱딱한 웨이팅(각진 웨이팅)을 부드럽게 처리하기 위하여 고안된 마야 자체 내장 툴이다.
그림 우측 채널창 인풋(Input)에 deltaMush노드가 생성되는 것이 보인다.추후에 캐릭터 디포머들의 응용을 위해 델타무시 노드와 스킨클러스터 노드를 통합하는 것이 필요하다.
도 4는 DeltaMush 적용한 웨이팅을 스킨웨이트 노드 하나로 통합하는 절차가 필요하다.
Cage를 통한 딱딱한 웨이트에서 그림에서 보이는 바와 같이 두 개의 동일한 모델링과 조인트 및 웨이트 생성. 두 개 중에 한 개에 Delta Mush 적용. Delta Mush 적용한 캐릭터에서 DeltaMush 없는 캐릭터에 Bake Deformation to Skin Weights 적용하여 웨이팅을 복사한다.
웨이팅이 복사된 모델링에서 최종 캐릭터에 정확한 조인트 위치에 웨이팅을 복사하기 위하여 마야 API getWeight, setWeight을 통하여 웨이팅을 복사한다.
도5에서 보이듯이 Cage Weight을 통한 웨이팅은 기존의 Closest distance이나 Geodesic Voxel 방식에 비해 형태의 일그러짐 없이 웨이팅을 효과적이고 적합하게 적용한다.
본발명을 구체적으로 설명하면 다음과 같다.
캐릭터에 기존의 웨이팅 방식과는 다르게 프록시 모델링(Proxy modeling)을 활용하여 웨이팅 값을 부여하는 새로운 방식 시도.
웨이팅 값을 적용하기 어려운 다관절 부위도 프록시 모델링으로 인하여 효과적으로 처리. 기존에 다관절 부위는 웨이팅 수작업이 절실히 필요했으나, 이미 생성되어진 프록시 모델링을 활용하여 적용하기 어려웠던 문제점 해결.
웨이팅 적용 방식은
1. 프록시 모델링 크기를 키워 주변의 스킨 웨이트를 적용할 high resolution 모델링의 점(vertex)들을 포함시킨다.
2. 키운 프록시 모델링을 cage modeling이라 부른다.
3. 각 관절 위치마다 생성된 cage modeling 내에 점(vertex)들을 추출하여 각 관절 위치의 웨이팅 부여한다.
4. 방식으로는 Maya API인 test_if_inside_mesh를 적용하여 cage modeling 내에 존재하는 점들을 추출한다.
5. 추출한 점들을 각 관절 조인트(joint) 위치에 웨이팅 100% 적용한다.
6. 적용하는 식은 마야 파이썬 래퍼런스의 skinPercent 커맨드를 사용하려 했으나 느린 연산속도로 인해 마야 API인 setWeight를 적용한다.
7. 모든 관절 부위 마다 Cage modeling 내의 점(vertex)들의 웨이트 값들을 부여한다.
8. 각 관절 위치 조인트의 값을 100% 적용하였기에 변형이 딱딱해 보임. 관절과 관절 부위의 점들이 부드럽게 디폼(deform)되도록 DeltaMush 기법 활용한다.
9. DeltaMush 기법은 노드 특성상 문제가 많아, DeltaMush를 통하여 부드럽게 처리된 디폼 웨이팅 값들을 또다시 추출하여 스킨 웨이트에 적용 필요하다.
10. 스킨 웨이트에 적용하는 두 가지 방식이 있다.
첫째, 기존에 본출원인이 등록특허공보 등록번호 10-1775839호로 등록한 3차원캐릭터움직임을변환하는플러그인프로그램을이용한3차원캐릭터동작구현 기법을 활용하는 방식이 있다. 변형된 거리 값으로 웨이팅 비율을 스킨웨이트에 적용한다.
둘째, DeltaMush의 웨이팅 값을 마야의 Bake Deformation to skin Weight 커맨드를 활용하는 방식. 그러나 이 방식은 웨이팅 값을 잘 적용하기 위해서는 스킨 웨이트에 동일한 조인트의 개수와 점(vertex)들이 조인트 위치와 겹치지 말아야 되는 문제(마야 2018,2019,2020 기준) 등 까다로운 조건이 있다. 웨이팅을 값들을 잘 부여하기 위해서는 추가적인 작업의 진행이 필요하다.추가적인 작업 진행 방식은 다음과 같다.
DeltaMush로 디폼이 부드럽게 처리된 캐릭터에서 바로 스킨웨이트에 웨이팅 값들을 추출하기에는 문제점이 많아 추가적인 작업 필요. DeltaMush으로 적용된 똑같은 캐릭터 추가. 추가 방식은 동일한 캐릭터와 조인트를 복사하여 동일한 웨이팅 값 부여한다.
추가된 캐릭터에 기존의 DeltaMush 캐릭터로부터 Bake Deformation to skin Weight 적용하여 부드러운 웨이트 값 추출한다.
부드러운 웨이트 값 추출 한 캐릭터에서부터 Maya API의 getWeight, setWeight으로 최종 캐릭터에 적용한다.
따라서 본발명은 Proxy Modeling과 DeltaMush 기법을 이용한 Cage Weight 방법에 의해 관절과 관절 부위에 왜곡된 형태가 없이 부드럽게 처리되는 현저한 효과가 있다.

Claims (3)

  1. 프록시 모델링(Proxy Modeling)을 활용하여 웨이팅을 구현하는 것으로, 프록시 모델링 주변의 캐릭터 모델링 벌택스(vertices)들을 찾아내어 웨이팅을 적용하는 것을 특징으로 하는 Proxy Modeling과 DeltaMush 기법을 이용한 Cage Weight 방법
  2. 제1항에 있어서, 상기 델타무시 기법은 관절과 관절 부위에 부드럽게 처리하는 것을 특징으로 하는 Proxy Modeling과 DeltaMush 기법을 이용한 Cage Weight 방법
  3. 제2항에 있어서, 상기 DeltaMush 기법에 의해 부드럽게 처리된 값들을 추출하여 캐릭터 스킨웨이트에 적용하는 것을 특징으로 하는 Proxy Modeling과 DeltaMush 기법을 이용한 Cage Weight 방법
KR1020200077842A 2020-06-25 2020-06-25 Proxy Modeling과 DeltaMush 기법을 이용한 Cage Weight 방법 KR102366693B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200077842A KR102366693B1 (ko) 2020-06-25 2020-06-25 Proxy Modeling과 DeltaMush 기법을 이용한 Cage Weight 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200077842A KR102366693B1 (ko) 2020-06-25 2020-06-25 Proxy Modeling과 DeltaMush 기법을 이용한 Cage Weight 방법

Publications (2)

Publication Number Publication Date
KR20220000191A true KR20220000191A (ko) 2022-01-03
KR102366693B1 KR102366693B1 (ko) 2022-02-22

Family

ID=79348473

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200077842A KR102366693B1 (ko) 2020-06-25 2020-06-25 Proxy Modeling과 DeltaMush 기법을 이용한 Cage Weight 방법

Country Status (1)

Country Link
KR (1) KR102366693B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060045018A (ko) * 2004-03-31 2006-05-16 드림워크스 애니메이션 엘.엘.씨. 컴퓨터-생성 애니메이션을 위한 캐릭터 데포르메이션파이프라인
KR101775839B1 (ko) * 2016-07-29 2017-09-06 동서대학교산학협력단 격자를 스킨웨이트에 적용하기 위한 그래픽 사용자 인터페이스 제공방법
KR101775836B1 (ko) * 2016-07-07 2017-09-06 동서대학교산학협력단 3차원 캐릭터 움직임을 변환하는 플러그인 프로그램을 이용한 3차원 캐릭터 동작 구현방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060045018A (ko) * 2004-03-31 2006-05-16 드림워크스 애니메이션 엘.엘.씨. 컴퓨터-생성 애니메이션을 위한 캐릭터 데포르메이션파이프라인
KR101775836B1 (ko) * 2016-07-07 2017-09-06 동서대학교산학협력단 3차원 캐릭터 움직임을 변환하는 플러그인 프로그램을 이용한 3차원 캐릭터 동작 구현방법
KR101775839B1 (ko) * 2016-07-29 2017-09-06 동서대학교산학협력단 격자를 스킨웨이트에 적용하기 위한 그래픽 사용자 인터페이스 제공방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Nolan, An introduction to proxy skinning in maya, letterbanks, 2016년 10월, pp. 1-5. 1부.* *
Roselle, Getting started with character skinning in maya, Autodesk, 2018년 11월, pp. 1-6. 1부.* *

Also Published As

Publication number Publication date
KR102366693B1 (ko) 2022-02-22

Similar Documents

Publication Publication Date Title
Huang et al. Subspace gradient domain mesh deformation
US9378589B2 (en) Apparatus and method for generating digital clone
Takayama et al. Geobrush: Interactive mesh geometry cloning
Wolberg Recent advances in image morphing
Xu et al. Gradient domain editing of deforming mesh sequences
US7545378B2 (en) Foot roll rigging
US7570264B2 (en) Rig baking
Beccari et al. A fast interactive reverse-engineering system
Anastacio et al. Modeling plant structures using concept sketches
KR101775836B1 (ko) 3차원 캐릭터 움직임을 변환하는 플러그인 프로그램을 이용한 3차원 캐릭터 동작 구현방법
Chen et al. Rigidity controllable as-rigid-as-possible shape deformation
Seol et al. Creating an actor-specific facial rig from performance capture
CN106228590A (zh) 一种图像中的人体姿态编辑方法
Pan et al. Automatic skinning and weight retargeting of articulated characters using extended position-based dynamics
KR102366693B1 (ko) Proxy Modeling과 DeltaMush 기법을 이용한 Cage Weight 방법
Cetinaslan et al. Sketching manipulators for localized blendshape editing
Alexa Mesh editing based on discrete laplace and poisson models
Shen et al. Completion-based texture design using deformation
Wu et al. Freescup: A novel platform for assisting sculpture pose design
KR20160008769A (ko) 삼차원 애니메이션 제작방법
JP4358752B2 (ja) 統計力学的衝突の方法と装置
CN117853320B (zh) 一种基于多媒体操控的图像映射方法、系统及存储介质
Sheng et al. Sketch-based design for green geometry and image deformation
Fu et al. Mesh editing with affine-invariant Laplacian coordinates
KR101717777B1 (ko) 캐릭터 단순화 기법을 적용하는 삼차원 애니메이션 제작방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant