KR20200050842A - 플렌옵틱 데이터 저장 시스템 및 그것의 동작 방법 - Google Patents
플렌옵틱 데이터 저장 시스템 및 그것의 동작 방법 Download PDFInfo
- Publication number
- KR20200050842A KR20200050842A KR1020190042863A KR20190042863A KR20200050842A KR 20200050842 A KR20200050842 A KR 20200050842A KR 1020190042863 A KR1020190042863 A KR 1020190042863A KR 20190042863 A KR20190042863 A KR 20190042863A KR 20200050842 A KR20200050842 A KR 20200050842A
- Authority
- KR
- South Korea
- Prior art keywords
- plenoptic
- data
- image data
- camera
- compression
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H04N5/247—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
본 발명에 따른 플렌옵틱 데이터 저장 시스템의 동작 방법은, 플렌옵틱 카메라 어레이로부터 플렌옵틱 영상 데이터를 획득하는 단계, 상기 플렌옵틱 영상 데이터에 대응하는 플렌옵틱 부가정보를 생성하는 단계, 상기 플렌옵틱 영상 데이터를 압축 부호화하는 단계, 및 상기 플렌옵틱 부가정보 및 압축 부호화된 데이터를 저장 포맷에 맞게 저장 장치에 저장하는 단계를 포함할 수 있다.
Description
본 발명은 플렌옵틱 데이터 저장 시스템 및 그것의 동작 방법에 관한 것이다.
일반적으로, 2차원 카메라 영상정보에 의존하는 기존의 영상처리 기술에 비해, 플렌옵틱(plenoptic) 또는 라이트필드(light field) 영상은 공간상에서 임의의 방향으로 진행하는 빛의 정보를 제공한다. 즉, 2차원 영상을 구성하는 각 픽셀에 대하여 샘플링된 방향에 대한 빛의 세기와 컬러 정보를 제공하기에 실제 공간에서 물체들을 사실적으로 묘사하는데 아주 적합하다. 플렌옵틱 영상정보는 기존 2차원 영상이 가지는 공간영역(spatial domain) 정보와 동시에 방향 정보에 의한 각영역(angular domain) 정보를 가지는데, 이러한 공간영역의 깊이정보 및 각영역에 의한 광선의 추가적인 방향정보를 활용하여 원근시점 이동(perspective viewing change), 재초점(refocusing) 및 3차원 깊이정보 추출(depth of field extraction) 등의 다양한 영상처리를 수행할 수 있는 것이 특징이다. 플렌옵틱 영상은 추가적인 광학정보를 담고 있으므로 깊이값 취득이 가능하며 동시에 광학적으로 정확한 재초점 생성이 가능하다. 구조광 방식의 카메라와는 달리 실외 환경에서의 깊이정보 처리도 가능하게 한다. 플렌옵틱 영상처리 기술에는 카메라 어레이에 의한 집적영상(integral imaging) 방식, 체적 내에 실제 발광점들을 물리적으로 형성하는 체적형 방식, 빛의 간섭효과를 이용하는 홀로그래피 방식 등이 존재한다.
본 발명의 목적은 m × n개의 카메라 어레이 장치를 통하여 획득된 플렌옵틱 영상데이터를 동영상으로 저장장치에 저장하는 플렌옵틱 데이터 저장 시스템 및 그것의 동작 방법을 제공하는 데 있다.
본 발명의 실시 예에 따른 플렌옵틱 데이터 저장 시스템의 동작 방법은, 플렌옵틱 카메라 어레이로부터 플렌옵틱 영상 데이터를 획득하는 단계; 상기 플렌옵틱 영상 데이터에 대응하는 플렌옵틱 부가정보를 생성하는 단계; 상기 플렌옵틱 영상 데이터를 압축 부호화하는 단계; 및 상기 플렌옵틱 부가정보 및 압축 부호화된 데이터를 저장 포맷에 맞게 저장 장치에 저장하는 단계를 포함할 수 있다.
실시 예에 있어서, 상기 플렌옵틱 영상 데이터를 획득하는 단계는, 상기 플렌옵틱 카메라 어레이로부터 획득된 물리적인 기저 데이터를 디지털 신호로 변환하는 단계를 더 포함할 수 있다.
실시 예에 있어서, 상기 플렌옵틱 카메라 어레이로부터 획득된 개별 뷰 영상 데이터들을 이용하여 하나의 플렌옵틱 광학계를 구성하기 위하여 광학 파라미터를 측정하는 단계를 더 포함할 수 있다.
실시 예에 있어서, 상기 광학 파라미터는 개별 카메라의 카메라 내부 파라미터, 카메라들 사이의 외부 파라미터, 혹은 카메라들의 색표현계 일치를 위한 색변환 파라미터를 포함하는 것을 특징으로 한다.
실시 예에 있어서, 상기 측정된 광학 파라미터를 이용하여 공간 좌표계 및 색 좌표계로 각각의 플렌옵틱 영상 데이터를 변환시키는 단계를 더 포함할 수 있다.
실시 예에 있어서, 상기 플렌옵틱 부가 정보를 생성하는 단계는, 상기 플렌옵틱 카메라 어레이에 대응하는 제 1 부가정보를 생성하는 단계; 각각의 카메라 별로 분리하여 기술되어야 하는 제 2 부가정보를 생성하는 단계; 및 한 쌍의 카메라 사이에 기술되어야 하는 제 3 부가정보를 생성하는 단계를 포함할 수 있다.
실시 예에 있어서, 상기 압축 부호화 하는 단계는, 플렌옵틱 영상 전용 방식을 이용하여 상기 플렌옵틱 영상 데이터를 압축 부호화 하는 단계를 포함할 수 있다.
실시 예에 있어서, 상기 압축 부호화 하는 단계는, 영상 압축 표준 방식을 이용하여 상기 플렌옵틱 영상 데이터를 압축 부호화하는 단계를 포함할 수 있다.
실시 예에 있어서, 상기 저장하는 단계는, 상기 플렌옵틱 부가정보 및 상기 압축 부호화된 데이터를 표준화된 방식을 이용하여 상기 저장 장치에 저장하는 단계를 포함할 수 있다.
실시 예에 있어서, 상기 플렌옵틱 부가정보를 상기 저장장치에서 파일 액세스를 통하여 읽혀지도록 패킷화 시키는 단계를 더 포함할 수 있다.
실시 예에 있어서, 상기 압축 부호화된 데이터를 상기 저장 장치에서 파일 액세스를 통하여 읽혀지도록 상기 저장 포맷에 따라 구성하는 단계를 더 포함할 수 있다.
본 발명의 실시 예에 따른 적어도 하나의 프로세서, 및 상기 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 인스트럭션을 저장하는 메모리를 갖는 플렌옵딕 데이터 저장 시스템은: 상기 적어도 하나의 인스트럭션은, 플렌옵틱 영상 획득 시스템에서 플렌옵틱 카메라 어레이로부터 플렌옵틱 영상 데이터를 획득하고, 상기 플렌옵틱 영상 획득 시스템에서 상기 플렌옵틱 영상 데이터에 대응하는 플렌옵틱 부가정보를 생성하고, 상기 플렌옵틱 영상 획득 시스템에서 상기 플렌옵틱 영상 데이터를 압축 부호화하고, 및 플렌옵틱 데이터 저장 시스템에서 상기 플렌옵틱 부가정보 및 압축 부호화된 데이터를 저장 포맷에 맞게 저장 장치에 저장하도록 상기 적어도 하나의 프로세서에서 실행되는 것을 특징으로 한다.
실시 예에 있어서, 상기 플렌옵틱 영상 획득 시스템은, 상기 플렌옵틱 영상 데이터로부터 광학 파라미터를 측정하고, 상기 측정된 광학 파라미터를 이용하여 상기 플렌옵틱 영상 데이터를 보정하고, 상기 보정된 플렌옵틱 영상 데이터를 압축 부호화시키는 것을 특징으로 한다.
실시 예에 있어서, 상기 플렌옵틱 영상 획득 시스템은, 상기 플렌옵틱 카메라 어레이에 대응하는 제 1 부가정보를 생성하고, 각각의 카메라 별로 분리하여 기술되어야 하는 제 2 부가정보를 생성하고, 및 한 쌍의 카메라 사이에 기술되어야 하는 제 3 부가정보를 생성하는 것을 특징으로 한다.
실시 예에 있어서, 상기 플렌옵틱 데이터 저장 시스템은, 상기 플렌옵틱 부가정보를 상기 저장 장치에서 파일 액세스 가능하도록 패킷화시키고, 상기 압축 부호화된 데이터를 상기 저장 장치에서 파일 액세스 가능하도록 구조화시키는 것을 특징으로 한다.
본 발명의 실시 예에 다른 플렌옵틱 데이터 저장 시스템 및 그것의 동작 방법은 m × n개의 카메라어레이 장치를 통하여 획득된 플렌옵틱 영상데이터를 동영상으로 저장장치에 저장함으로써, 이후 저장된 플렌옵틱 데이터로부터 자유롭게 광학계를 재구성한 2D 및 3D 영상을 만들어낼 수 있다.
이하에 첨부되는 도면들은 본 실시 예에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시 예들을 제공한다. 다만, 본 실시예의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도 1은 본 발명의 실시 예에 따른 플렌옵틱 데이터 저장 시스템(10)을 예시적으로 보여주는 도면이다.
도 2는 본 발명의 실시 예에 따른 플렌옵틱 영상 획득시스템(100)을 예시적으로 보여주는 도면이다.
도 3은 본 발명의 실시 예에 따른 플렌옵틱 데이터 저장시스템(200)을 예시적으로 보여주는 도면이다.
도 4는 본 발명의 실시 예에 따른 플렌옵틱 부가정보를 예시적으로 보여주는 도면이다.
도 5는 본 발명의 실시 예에 따른 각각의 카메라로 기술되는 부가정보를 예시적으로 보여주는 도면이다.
도 6은 본 발명의 실시 예에 따른 한 쌍의 카메라 사이에서 기술되는 부가정보를 예시적으로 보여주는 도면이다.
도 7은 본 발명의 실시 예에 따른 플렌옵틱 데이터 저장 시스템(10)의 동작 방법을 예시적으로 보여주는 흐름도이다.
도 1은 본 발명의 실시 예에 따른 플렌옵틱 데이터 저장 시스템(10)을 예시적으로 보여주는 도면이다.
도 2는 본 발명의 실시 예에 따른 플렌옵틱 영상 획득시스템(100)을 예시적으로 보여주는 도면이다.
도 3은 본 발명의 실시 예에 따른 플렌옵틱 데이터 저장시스템(200)을 예시적으로 보여주는 도면이다.
도 4는 본 발명의 실시 예에 따른 플렌옵틱 부가정보를 예시적으로 보여주는 도면이다.
도 5는 본 발명의 실시 예에 따른 각각의 카메라로 기술되는 부가정보를 예시적으로 보여주는 도면이다.
도 6은 본 발명의 실시 예에 따른 한 쌍의 카메라 사이에서 기술되는 부가정보를 예시적으로 보여주는 도면이다.
도 7은 본 발명의 실시 예에 따른 플렌옵틱 데이터 저장 시스템(10)의 동작 방법을 예시적으로 보여주는 흐름도이다.
아래에서는 도면들을 이용하여 본 발명의 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 본 발명의 내용을 명확하고 상세하게 기재할 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다.
상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 혹은 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함하다" 혹은 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 혹은 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것들의 존재 혹은 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
일반적으로 플렌옵틱 데이터는 공간상의 빛 정보를 촬영함에 있어 공간좌표에 해당하는 값뿐만 아니라 각 공간지점 별로 서로 다른 각도 별 값을 분리하여 획득함으로써 공간 내의 빛 정보를 모두 포함할 수 있다. 이를 통하여 촬영이 일어난 사후에 촬영 시 얻어진 데이터만을 이용하여 공간 내의 빛 구성을 자유롭게 재구성 할 수 있으므로 촬영 후 재초점, 촬영 후 시점 변경 등의 공간의 빛 구성에 기반한 영상을 임의로 만들어낼 수 있다. 본 발명의 실시 예에 따른 플렌옵틱 데이터 저장 시스템 및 그것의 동작 방법은 저장장치에 저장하기 위해서 사후에 저장된 플렌옵틱 데이터를 이용하여 광학계를 재구성하기 위해 부가적인 정보를 함께 저장할 수 있다.
도 1은 본 발명의 실시 예에 따른 플렌옵틱 데이터 저장 시스템(10)을 예시적으로 보여주는 도면이다. 도 1을 참조하면, 플렌옵틱 데이터 저장 시스템(10)은 플렌옵틱 영상 획득시스템(100) 및 플렌옵틱 데이터 저장시스템(200)을 포함할 수 있다.
플렌옵틱 영상 획득시스템(100)은 플렌옵틱 카메라 어레이(11)로부터 획득된 동영상 데이터를 처리 가능한 디지털 신호로 확보하도록 구현될 수 있다.
플렌옵틱 데이터 저장 시스템(200)은 플렌옵틱 영상 획득시스템(100)으로부터 얻어진 플렌옵틱 동영상 데이터를 저장 장치(12)에 저장 가능한 형태로 가공하도록 구현될 수 있다. 여기서 저장 장치(12)는 다양한 종류의 휘발성 혹은 비휘발성 메모리 장치를 포함할 수 있다.
본 발명의 실시 예에 따른 플렌옵틱 데이터 저장 시스템(10)은, 플렌옵틱 카메라 어레이로부터 플렌옵틱 영상 데이터를 획득하고, 플렌옵틱 영상 데이터에 대응하는 플렌옵틱 부가정보를 생성하고, 플렌옵틱 영상 데이터를 압축 부호화하고, 및 플렌옵틱 부가정보 및 압축 부호화된 데이터를 저장 포맷에 맞게 저장 장치(12)에 저장시킴으로써, 이후 저장된 플렌옵틱 데이터로부터 자유롭게 광학계를 재구성한 2D 및 3D 영상을 만들어낼 수 있다.
도 2는 본 발명의 실시 예에 따른 플렌옵틱 영상 획득시스템(100)을 예시적으로 보여주는 도면이다. 도 2를 참조하면, 플렌옵틱 영상 획득시스템(100)은 플렌옵틱 영상 획득부(110), 플렌옵틱 영상 광학 파라미터 측정부(120), 플렌옵틱 영상 보정부(130), 플렌옵틱 부가정보 생성부(140), 및 플렌옵틱 영상 부호화부(150)를 포함할 수 있다.
플렌옵틱 영상 획득부(110)는 플렌옵틱 카메라 어레이(11)로부터 획득된 물리적인 기저데이터를 디지털신호로 변환하고, 변환된 신호를 저장하도록 구현될 수 있다. 여기서 플렌옵틱 카메라 어레이(11)는 서로 다른 각도에서 입사된 광학정보를 독립적으로 획득하기 위하여 위치별로 구분된 여러 대의 카메라를 동시에 활용하여 촬영할 수 있다. 실시 예에 있어서, 플렌옵틱 영상 획득부(110)는 플렌옵틱 카메라 어레이(11)의 종류에 따라 YUV/RGB등 디지털 변환을 거친 각 카메라의 기저영상을 있는 그대로 획득할 수 있다.
플렌옵틱 영상 광학 파라미터 측정부(120)는 m Х n 구성의 카메라 어레이(11)로부터 획득된 개별 뷰 영상들을 이용하여 하나의 플렌옵틱 광학계를 구성하기 위하여 광학 파라미터를 측정하도록 구현될 수 있다. 실시 예에 있어서, 측정하는 광학 파라미터는 개별 카메라의 카메라 내부 파라미터, 카메라들간의 외부 파라미터, 혹은 카메라들의 색표현계 일치화를 위한 색변환 파라미터들을 포함할 수 있다.
플렌옵틱 영상 보정부(130)는 플렌옵틱 영상 광학 파라미터 측정부(120)에서 측정된 파라미터들을 이용하여 단일한 공간 좌표계 및 색 좌표계로 각각의 영상들을 변환하도록 구현될 수 있다.
플렌옵틱 부가정보 생성부(140)는 카메라 어레이 기반의 플렌옵틱 데이터를 저장하기 위한 부가정보를 생성하도록 구현될 수 있다. 여기서 생성된 부가정보는 플렌옵틱 영상을 저장 장치(12)에 저장될 수 있다. 이러한 부가 정보는 저장 장치(12)에 읽어와서 원래의 플렌옵틱 광학계를 구성하기 위해 필요한 정보이다.
플렌옵틱 영상 부호화부(150)는 이전 단계에서 획득된 플렌옵틱 영상 데이터를 저장할 수 있는 크기의 데이터로 압축 부호화를 수행하도록 구현될 수 있다. 실시 예에 있어서, 압축 부호화는 플렌옵틱 영상 전용의 부호화 기법을 사용할 수 있다. 다른 실시 예에 있어서, 압축 부호화는 각각의 카메라 출력 혹은 특정 개수의 카메라출력을 묶어서 기존의 영상 압축 부호화 표준을 사용하여 압축 부호화를 수행할 수도 있다.
한편, 플렌옵틱 데이터 저장시스템(200)은 플렌옵틱 영상 획득시스템(100)으로 터 생성된 두 가지 결과물인 압축 부호화된 플렌옵틱 동영상 데이터와 플렌옵틱 데이터 부가정보를 이용하여 저장 장치(120)에 플렌옵틱 데이터를 표준화된 방식으로 저장할 수 있다.
도 3은 본 발명의 실시 예에 따른 플렌옵틱 데이터 저장시스템(200)을 예시적으로 보여주는 도면이다. 도 3을 참조하면, 플렌옵틱 데이터 저장시스템(200)은 플렌옵틱 부가정보 패킷화기(210) 및 플렌옵틱 데이터 저장구조 형성부(220)를 포함할 수 있다.
플렌옵틱 부가정보 패킷화기(210)는 플렌옵틱 동영상 데이터에 연관된 부가정보를 파일 액세스를 통해 얻을 수 있는 구조로 구성하도록 구현될 수 있다.
플렌옵틱 데이터 저장구조 형성부(220)는 압축 부호화된 플렌옵틱 동영상 데이터를 적절한 구조로 저장하고, 필요한 위치의 데이터를 즉시로 가져오기 위한(즉, 파일 액세스가 가능하도록) 저장 구조를 형성하도록 구현될 수 있다.
플렌옵틱 데이터 저장시스템(200)에서 생성된 플렌옵틱 저장 데이터는 최종적으로 저장 장치(12)에 저장될 수 있다.
도 4는 본 발명의 실시 예에 따른 플렌옵틱 부가정보를 예시적으로 보여주는 도면이다. 도 4를 참조하면, 플렌옵틱 카메라 세트에 대응하는 제 1 부가정보가 예시적으로 도시되고 있다. ID는 서로 다른 플렌옵틱 데이터 저장포맷을 상호간에 구분하기 위한 기술자이고, VersionMajor는 일한 플렌옵틱 데이터 저장포맷간의 버전 구분을 위한 버전넘버 상위값이고, VersionMinor는 동일한 플렌옵틱 데이터 저장포맷간의 버전 구분을 위한 버전넘버 하위값이고, HeaderSizeInBytes는 본 플렌옵틱 데이터 저장포맷에서 사용하는 부가정보 부분의 크기이고, NoViews는 본 플렌옵틱 데이터를 구성하고 있는 카메라어레이 시스템에서 사용되고 있는 카메라의 총 개수이고, NoViewsHorizontal는 본 플렌옵틱 데이터를 구성하고 있는 카메라어레이에서 가로방향의 카메라 개수이고, NoViewsVertical는 본 플렌옵틱 데이터를 구성하고 있는 카메라어레이에서 세로방향의 카메라 개수이고, ImageWidthInPixel는 하나의 카메라가 가지는 가로 픽셀 해상도이고, ImageHeightInPixel는 하나의 카메라가 가지는 세로 픽셀 해상도이고, CompressionFormat는 표준 동영상 압축방식을 사용하여 플렌옵틱 동영상데이터를 압축하여 저장하는 경우 사용되는 표준 포맷 방식이고, ReferenceCamID는 카메라어레이를 구성하는 카메라들 중 좌표의 기준으로 사용되는 카메라 ID이고, NoOfTotalFrames는 저장된 플렌옵틱 동영상의 전체 시간축에서의 프레임 수이고, RealDepthMin는 저장된 플렌옵틱 데이터가 가지는 실측치 기준 최소 깊이값 (카메라에서의 거리중 제일 가까운 값)이고, RealDepthMax는 저장된 플렌옵틱 데이터가 가지는 실측치 기준 최대 깊이값 (카메라에서의 거리중 제일 먼 값)이고, NormalizedDepthMin는 저장된 플렌옵틱 데이터가 가지는 최소 깊이값으로 특정 표준 범위(예: 0.0~1.0)으로 정규화된 값 (카메라에서의 거리중 제일 가까운 값)이고, NormalizedDepthMax는 저장된 플렌옵틱 데이터가 가지는 최대 깊이값으로 특정 표준 범위(예: 0.0~1.0)으로 정규화된 값 (카메라에서의 거리중 제일 가까운 값)이고, FlagIsRectified는 저장된 플렌옵틱 데이터가 광학 보정 된 상태의 데이터인지의 여부를 나타내는 flag이고, FlagHaveHomogrMat는 특정 카메라로의 좌표계 이동을 지원하는 호모그래피 변환 파라미터의 포함여부를 나타내는 flag이고, FlagHaveAlpha는 영상 데이터의 투명도를 가리키는 알파채널을 포함하고 있는지를 나타내는 flag이고, FlagHaveDepth는 별도의 깊이정보 데이터를 포함하고 있는지의 여부를 나타내는 flag이고, FlagHaveInterCamParam는 카메라간 상호 관계를 나타내는 파라미터를 포함하고 있는지를 가리키는 flag이다.
한편, 카메라 어레이 한 세트에 대응되는 도 4의 부가정보와 달리 각각의 카메라별로 기술되는 특징을 포함하고 있는 추가적인 부가정보가 필요하다.
도 5는 본 발명의 실시 예에 따른 각각의 카메라별로 기술되는 부가정보를 예시적으로 보여주는 도면이다. 도 5을 참조하면, 각각의 카메라별로 기술되어야 하는 제 2 부가정보가 예시적으로 도시되고 있다. SizeInBytes는 카메라별 부가데이터 부분의 크기이고, OffsetInBytes는 카메라별 부가데이터의 첫번째 카메라 부가데이터가 시작하는 위치로부터의 거리(크기)이고, SizeInBytesAlpha는 플렌옵틱 투명도 데이터를 포함하고 있는 경우 해당 데이터의 크기이고, OffsetInBytesAlpha는 플렌옵틱 투명도 데이터를 포함하고 있는 경우 해당 데이터의 첫번째 카메라 부가데이터가 시작하는 위치로부터의 거리이고, SizeInBytesDepth는 플렌옵틱 깊이정보 데이터를 포함하고 있는 경우 해당 데이터의 크기이고, OffsetInBytesDepth는 플렌옵틱 깊이정보 데이터를 포함하고 있는 경우 해당 데이터의 첫번째 카메라 부가데이터가 시작하는 위치로부터의 거리이고, HomographyMat[9], 현재 본 부가데이터가 기술하고 있는 카메라의 좌표계를 지정된 기준카메라의 좌표계와 동일하게 변환하여 주는 호모그래피 좌표변환 3 by 3 매트릭스이고, CameraParam[9]는 현재 본 부가데이터가 기술하고 있는 카메라의 카메라 내부파라미터를 기술하고 있는 3 by 3 매트릭스이고, DistortionParam[5]는 현재 본 부가데이터가 기술하고 있는 카메라의 렌즈 왜곡 계수를 기술하고 있는 1 by 5 매트릭스이고, CameraPositionX는 지정된 기준카메라의 좌표계 내에서 현재 카메라가 수평방향으로 떨어진 거리이고, CameraPositionY는 지정된 기준카메라의 좌표계 내에서 현재 카메라가 수직방향으로 떨어진 거리이다.
도 6은 본 발명의 실시 예에 따른 한 쌍의 카메라 사이에서 기술되는 부가정보를 예시적으로 보여주는 도면이다. 도 6을 참조하면, 한 쌍의 카메라 사이에 기술되어야 하는 제 3 부가 정보가 예시적으로 도시되고 있다. EssentialMat[9]는 지정된 두 카메라 사이의 에센셜 매트릭스이고, FundamentalMat[9]는 지정된 두 카메라 사이의 펀더멘털 매트릭스이고, RotationMat[9]는 지정된 두 카메라 사이의 회전 매트릭스이고, TranslationMat[3]는 지정된 두 카메라 사이의 평행이동 매트릭스이다.
도 7은 본 발명의 실시 예에 따른 플렌옵틱 데이터 저장 시스템(10)의 동작 방법을 예시적으로 보여주는 흐름도이다. 도 1 내지 도 7을 참조하면, 플렌옵틱 데이터 저장 시스템(10)은 다음과 같이 동작할 수 있다.
m × n 플렌옵틱 카메라 어레이(11)로부터 플렌옵틱 영상데이터가 획득될 수 있다(S110). 여기서 m과 n은 2 이상의 자연수이다. 플렌옵틱 영상데이터에 대응하는 부가정보가 생성될 수 있다(S120). 플렌옵틱 영상데이터는 압축 부호화될 수 있다(S130). 부가정보 및 압축 부호화된 플렌옵틱 데이터는 적절한 형식에 맞는 플렌옵틱 저장데이터로 구성되고, 저장 장치(12)에 저장될 수 있다(S140).
실시 예에 따라, 단계들 및/혹은 동작들의 일부 혹은 전부는 하나 이상의 비-일시적 컴퓨터-판독가능 매체에 저장된 명령, 프로그램, 상호작용 데이터 구조(interactive data structure), 클라이언트 및/혹은 서버를 구동하는 하나 이상의 프로세서들을 사용하여 적어도 일부가 구현되거나 혹은 수행될 수 있다.
이상에서 설명된 실시 예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/혹은 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 혹은 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 혹은 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.
또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소 (processing element) 및/혹은 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치 는 복수의 프로세서 혹은 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 혹은 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 혹은 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/혹은 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 혹은 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 혹은 장치, 혹은 전송되는 신호 파(signal wave)에 영구적으로, 혹은 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 혹은 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체 (magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명의 실시 예에 따른 적어도 하나의 프로세서, 및 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 인스트럭션을 저장하는 메모리를 갖는 플렌옵딕 데이터 저장 시스템은, 적어도 하나의 인스트럭션은, 플렌옵틱 영상 획득 시스템에서 플렌옵틱 카메라 어레이로부터 플렌옵틱 영상 데이터를 획득하고, 플렌옵틱 영상 획득 시스템에서 플렌옵틱 영상 데이터에 대응하는 플렌옵틱 부가정보를 생성하고, 플렌옵틱 영상 획득 시스템에서 플렌옵틱 영상 데이터를 압축 부호화하고, 및 플렌옵틱 데이터 저장 시스템에서 플렌옵틱 부가정보 및 압축 부호화된 데이터를 저장 포맷에 맞게 저장 장치에 저장하도록 적아도 하나의 프로세서에서 실행될 수 있다.
한편, 상술 된 본 발명의 내용은 발명을 실시하기 위한 구체적인 실시 예들에 불과하다. 본 발명은 구체적이고 실제로 이용할 수 있는 수단 자체뿐 아니라, 장차 기술로 활용할 수 있는 추상적이고 개념적인 아이디어인 기술적 사상을 포함할 것이다.
10: 플렌옵틱 데이터 저장 시스템
11: 플렌옵틱 카메라 어레이
12: 저장 장치
100: 플렌옵틱 데이터 획득 시스템
110: 플렌옵틱 영상 획득부
120: 플렌옵틱 영상 광학 파라미터 측정부
130: 플렌옵틱 영상 보정부
140: 플렌옵틱 부가정보 생성부
150: 플렌옵틱 영상 부호화부
200: 플렌옵틱 데이터 저장 시스템
210: 플렌옵틱 부가정보 패킷화기
220: 플렌옵틱 데이터 저장구조 형성부
11: 플렌옵틱 카메라 어레이
12: 저장 장치
100: 플렌옵틱 데이터 획득 시스템
110: 플렌옵틱 영상 획득부
120: 플렌옵틱 영상 광학 파라미터 측정부
130: 플렌옵틱 영상 보정부
140: 플렌옵틱 부가정보 생성부
150: 플렌옵틱 영상 부호화부
200: 플렌옵틱 데이터 저장 시스템
210: 플렌옵틱 부가정보 패킷화기
220: 플렌옵틱 데이터 저장구조 형성부
Claims (15)
- 플렌옵틱 데이터 저장 시스템의 동작 방법에 있어서,
플렌옵틱 카메라 어레이로부터 플렌옵틱 영상 데이터를 획득하는 단계;
상기 플렌옵틱 영상 데이터에 대응하는 플렌옵틱 부가정보를 생성하는 단계;
상기 플렌옵틱 영상 데이터를 압축 부호화하는 단계; 및
상기 플렌옵틱 부가정보 및 압축 부호화된 데이터를 저장 포맷에 맞게 저장 장치에 저장하는 단계를 포함하는 방법. - 제 1 항에 있어서,
상기 플렌옵틱 영상 데이터를 획득하는 단계는,
상기 플렌옵틱 카메라 어레이로부터 획득된 물리적인 기저 데이터를 디지털 신호로 변환하는 단계를 더 포함하는 방법. - 제 1 항에 있어서,
상기 플렌옵틱 카메라 어레이로부터 획득된 개별 뷰 영상 데이터들을 이용하여 하나의 플렌옵틱 광학계를 구성하기 위하여 광학 파라미터를 측정하는 단계를 더 포함하는 방법. - 제 3 항에 있어서,
상기 광학 파라미터는 개별 카메라의 카메라 내부 파라미터, 카메라들 사이의 외부 파라미터, 혹은 카메라들의 색표현계 일치를 위한 색변환 파라미터를 포함하는 것을 특징으로 하는 방법. - 제 3 항에 있어서,
상기 측정된 광학 파라미터를 이용하여 공간 좌표계 및 색 좌표계로 각각의 플렌옵틱 영상 데이터를 변환시키는 단계를 더 포함하는 방법. - 제 1 항에 있어서,
상기 플렌옵틱 부가 정보를 생성하는 단계는,
상기 플렌옵틱 카메라 어레이에 대응하는 제 1 부가정보를 생성하는 단계;
각각의 카메라 별로 분리하여 기술되어야 하는 제 2 부가정보를 생성하는 단계; 및
한 쌍의 카메라 사이에 기술되어야 하는 제 3 부가정보를 생성하는 단계를 포함하는 방법. - 제 1 항에 있어서,
상기 압축 부호화 하는 단계는
플렌옵틱 영상 전용 방식을 이용하여 상기 플렌옵틱 영상 데이터를 압축 부호화 하는 단계를 포함하는 방법. - 제 1 항에 있어서,
상기 압축 부호화 하는 단계는,
영상 압축 표준 방식을 이용하여 상기 플렌옵틱 영상 데이터를 압축 부호화하는 단계를 포함하는 방법. - 제 1 항에 있어서,
상기 저장하는 단계는,
상기 플렌옵틱 부가정보 및 상기 압축 부호화된 데이터를 표준화된 방식을 이용하여 상기 저장 장치에 저장하는 단계를 포함하는 방법. - 제 9항에 있어서,
상기 플렌옵틱 부가정보를 상기 저장 장치에서 파일 액세스를 통하여 읽혀지도록 패킷화 시키는 단계를 더 포함하는 방법. - 제 9 항에 있어서,
상기 압축 부호화된 데이터를 상기 저장 장치에서 파일 액세스를 통하여 읽혀지도록 상기 저장 포맷에 따라 구성하는 단계를 더 포함하는 방법. - 적어도 하나의 프로세서, 및 상기 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 인스트럭션을 저장하는 메모리를 갖는 플렌옵딕 데이터 저장 시스템에 있어서:
상기 적어도 하나의 인스트럭션은,
플렌옵틱 영상 획득 시스템에서 플렌옵틱 카메라 어레이로부터 플렌옵틱 영상 데이터를 획득하고,
상기 플렌옵틱 영상 획득 시스템에서 상기 플렌옵틱 영상 데이터에 대응하는 플렌옵틱 부가정보를 생성하고,
상기 플렌옵틱 영상 획득 시스템에서 상기 플렌옵틱 영상 데이터를 압축 부호화하고, 및
플렌옵틱 데이터 저장 시스템에서 상기 플렌옵틱 부가정보 및 압축 부호화된 데이터를 저장 포맷에 맞게 저장 장치에 저장하도록 상기 적어도 하나의 프로세서에서 실행되는 것을 특징으로 하는 플렌옵틱 데이터 저장 시스템. - 제 12 항에 있어서,
상기 플렌옵틱 영상 획득 시스템은,
상기 플렌옵틱 영상 데이터로부터 광학 파라미터를 측정하고,
상기 측정된 광학 파라미터를 이용하여 상기 플렌옵틱 영상 데이터를 보정하고,
상기 보정된 플렌옵틱 영상 데이터를 압축 부호화시키는 것을 특징으로 하는 플렌옵틱 데이터 저장 시스템. - 제 13 항에 있어서,
상기 플렌옵틱 영상 획득 시스템은,
상기 플렌옵틱 카메라 어레이에 대응하는 제 1 부가정보를 생성하고,
각각의 카메라 별로 분리하여 기술되어야 하는 제 2 부가정보를 생성하고,
및
한 쌍의 카메라 사이에 기술되어야 하는 제 3 부가정보를 생성하는 것을 특징으로 하는 플렌옵틱 데이터 저장 시스템. - 제 13 항에 있어서,
상기 플렌옵틱 데이터 저장 시스템은,
상기 플렌옵틱 부가정보를 상기 저장 장치에서 파일 액세스 가능하도록 패킷화시키고,
상기 압축 부호화된 데이터를 상기 저장 장치에서 파일 액세스 가능하도록 구조화시키는 것을 특징으로 하는 플렌옵틱 데이터 저장 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/671,628 US11182872B2 (en) | 2018-11-02 | 2019-11-01 | Plenoptic data storage system and operating method thereof |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180133535 | 2018-11-02 | ||
| KR20180133535 | 2018-11-02 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200050842A true KR20200050842A (ko) | 2020-05-12 |
| KR102577447B1 KR102577447B1 (ko) | 2023-09-13 |
Family
ID=70679299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190042863A KR102577447B1 (ko) | 2018-11-02 | 2019-04-12 | 플렌옵틱 데이터 저장 시스템 및 그것의 동작 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102577447B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220086888A (ko) * | 2020-12-17 | 2022-06-24 | 충북대학교 산학협력단 | 플렌옵틱 영상의 중간시점 영상 생성 시스템 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150106879A (ko) | 2012-12-21 | 2015-09-22 | 비디노티 에스아 | 플렌옵틱 라이트 필드에 어노테이션을 추가하는 방법 및 기기 |
| KR20160065742A (ko) * | 2014-11-28 | 2016-06-09 | 한국전자통신연구원 | 라이트필드 촬영 장치 및 방법 |
| KR20160107265A (ko) * | 2014-01-10 | 2016-09-13 | 오스텐도 테크놀로지스 인코포레이티드 | 완전 시차 압축 라이트 필드 3d 촬상 시스템을 위한 방법 |
| JP2017188729A (ja) | 2016-04-01 | 2017-10-12 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
| KR20180053668A (ko) | 2015-09-17 | 2018-05-23 | 톰슨 라이센싱 | 화소 빔을 나타내는 데이터를 생성하기 위한 방법 및 장치 |
-
2019
- 2019-04-12 KR KR1020190042863A patent/KR102577447B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150106879A (ko) | 2012-12-21 | 2015-09-22 | 비디노티 에스아 | 플렌옵틱 라이트 필드에 어노테이션을 추가하는 방법 및 기기 |
| KR20160107265A (ko) * | 2014-01-10 | 2016-09-13 | 오스텐도 테크놀로지스 인코포레이티드 | 완전 시차 압축 라이트 필드 3d 촬상 시스템을 위한 방법 |
| KR20160065742A (ko) * | 2014-11-28 | 2016-06-09 | 한국전자통신연구원 | 라이트필드 촬영 장치 및 방법 |
| KR20180053668A (ko) | 2015-09-17 | 2018-05-23 | 톰슨 라이센싱 | 화소 빔을 나타내는 데이터를 생성하기 위한 방법 및 장치 |
| JP2017188729A (ja) | 2016-04-01 | 2017-10-12 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220086888A (ko) * | 2020-12-17 | 2022-06-24 | 충북대학교 산학협력단 | 플렌옵틱 영상의 중간시점 영상 생성 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102577447B1 (ko) | 2023-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101885780B1 (ko) | 3 차원 비디오를 위한 카메라 시스템 | |
| JP2016537901A (ja) | ライトフィールド処理方法 | |
| CN109076200A (zh) | 全景立体视频系统的校准方法和装置 | |
| US20190116352A1 (en) | Apparatus, a method and a computer program for coding and rendering volumetric video | |
| US20150146032A1 (en) | Light field processing method | |
| CN109241841B (zh) | 视频人体动作的获取方法和装置 | |
| KR20210051242A (ko) | 멀티 렌즈 영상 복원 장치 및 방법 | |
| JP7184050B2 (ja) | 符号化装置、符号化方法、復号装置、および復号方法 | |
| US11620730B2 (en) | Method for merging multiple images and post-processing of panorama | |
| WO2019065536A1 (ja) | 再構成方法および再構成装置 | |
| CN114399597A (zh) | 场景空间模型的构建方法、装置以及存储介质 | |
| CN107517346A (zh) | 基于结构光的拍照方法、装置及移动设备 | |
| CN104798128A (zh) | 注解方法和装置 | |
| JPWO2020004013A5 (ko) | ||
| TWI684359B (zh) | 用於沉浸式視頻編解碼的信令語法的方法及裝置 | |
| CN113132708B (zh) | 利用鱼眼相机获取三维场景图像的方法和装置、设备和介质 | |
| KR20200050842A (ko) | 플렌옵틱 데이터 저장 시스템 및 그것의 동작 방법 | |
| KR101010904B1 (ko) | 마커를 사용하지 않는 증강공간 제공 장치 | |
| EP3729805A1 (en) | Method for encoding and decoding volumetric video data | |
| TW202217646A (zh) | 影像處理方法、裝置、電子設備及儲存媒體 | |
| KR101529820B1 (ko) | 월드 좌표계 내의 피사체의 위치를 결정하는 방법 및 장치 | |
| JP2016114445A (ja) | ３次元位置算出装置およびそのプログラム、ならびに、ｃｇ合成装置 | |
| CN111179331A (zh) | 深度估计方法、装置、电子设备及计算机可读存储介质 | |
| KR102612539B1 (ko) | 다시점 비디오 부호화 및 복호화 방법 | |
| US11182872B2 (en) | Plenoptic data storage system and operating method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |