KR101222104B1 - 라인 스캔 카메라를 이용한 전방위 입체 영상 생성 방법 및 장치 - Google Patents

라인 스캔 카메라를 이용한 전방위 입체 영상 생성 방법 및 장치 Download PDF

Info

Publication number
KR101222104B1
KR101222104B1 KR1020110043146A KR20110043146A KR101222104B1 KR 101222104 B1 KR101222104 B1 KR 101222104B1 KR 1020110043146 A KR1020110043146 A KR 1020110043146A KR 20110043146 A KR20110043146 A KR 20110043146A KR 101222104 B1 KR101222104 B1 KR 101222104B1
Authority
KR
South Korea
Prior art keywords
camera
line scan
image data
rotation
scan cameras
Prior art date
Application number
KR1020110043146A
Other languages
English (en)
Other versions
KR20120125073A (ko
Inventor
최영수
이자영
신진수
이용주
Original Assignee
(주)지에스엠솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)지에스엠솔루션 filed Critical (주)지에스엠솔루션
Priority to KR1020110043146A priority Critical patent/KR101222104B1/ko
Publication of KR20120125073A publication Critical patent/KR20120125073A/ko
Application granted granted Critical
Publication of KR101222104B1 publication Critical patent/KR101222104B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/03—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 실내에서는 두 대의 라인스캔카메라에 설치한 레이저 반사판과 토탈스테이션을 이용하고, 실외에서는 두 대의 라인스캔카메라와 GPS를 이용하여, 두 대의 라인스캔카메라를 회전하면서 획득한 라인단위의 영상을 합성해 전방위에 대한 동적인 입체 영상을 생성하는 전방위 입체 영상 생성 방법 및 장치에 관한 것이다.

Description

라인 스캔 카메라를 이용한 전방위 입체 영상 생성 방법 및 장치{Method and Apparatus for Generating Omnidirectional 3D Image using Line Scan Camera}
본 발명은 전방위 입체 영상 생성 방법 및 장치에 관한 것으로서, 실내에서는 두 대의 라인스캔카메라에 설치한 레이저 반사판과 토탈스테이션을 이용하고, 실외에서는 두 대의 라인스캔카메라와 GPS를 이용하여, 두 대의 라인스캔카메라를 회전하면서 획득한 라인단위의 영상을 합성해 전방위에 대한 동적인 입체 영상을 생성하는 전방위 입체 영상 생성 방법 및 장치에 관한 것이다.
기존의 전방위 카메라 촬영 장비는 에어리어(area) 스캔 방식을 통하여 이미지를 획득하고 위치데이터를 얻기 위하여 GPS(Global Positioning System)와 동기화 장비 등을 이용하였다. 이와 같은 방법은 GPS장비에 종속되어 촬영되기 때문에 실외 촬영에만 국한되어 사용되고 있다.
기존의 전방위 카메라 촬영 장비는 실외에 최적화된 만큼 실내에서 사용할 경우 카메라 이미지 간의 오버랩(Overlap) 현상 및 장소 제약의 문제가 발생되고 있다. 이는 에어리어 방식의 여러 카메라들의 이미지를 합쳐서 하나의 전방위 이미지를 만드는데 합성하는 과정에서 발생 된다. 영상 간 밝기 값의 차이, 역광에 의한 플레어 현상, 영상의 해상도 문제 등의 문제도 발생한다.
대규모 실내 공간의 다양한 3D 정보(상가의 위치, 편의 시설, 화장실 등)를 서비스하는 것은 현대인의 생활 중 80% 이상이 실내에서 이루어지기 때문에 국내외 포탈 업체에서 실제 필요로 하고 있는 중요한 공간정보이므로, 실내에서의 전방위 입체 영상을 높은 이미지 퀄리티로 제공할 필요가 있다.
따라서, 본 발명은 상술한 문제점을 해결하기 위한 것으로서, 본 발명의 목적은, 실내에서는 두 대의 라인스캔카메라에 설치한 레이저 반사판과 토탈스테이션을 이용하고, 실외에서는 두 대의 라인스캔카메라와 GPS를 이용하여, 두 대의 라인스캔카메라를 회전하면서 획득한 라인단위의 영상을 합성해 전방위에 대한 동적인 입체 영상을 생성하는 전방위 입체 영상 생성 방법 및 장치를 제공하는 데 있다.
먼저, 본 발명의 특징을 요약하면, 본 발명의 일면에 따른, 전방위 입체 영상 생성 방법은, 모터의 회전축에 결합된 지지 플레이트 상에 일정 거리 이격되어 설치된 2대의 라인 스캔 카메라를 상기 모터에 의해 구동된 상기 회전축의 회전 동안 회전하면서 전방에 대한 라인 단위의 영상 데이터를 획득하고, 상기 영상 데이터의 획득 시에 대응되는 상기 2대의 라인 스캔 카메라 각각의 위치 데이터를 획득하며, 상기 위치 데이터에 대응시켜 상기 라인 단위의 영상 데이터를 저장 수단에 저장하여 360도 전방위에 대한 양안시차 방식의 입체 영상 데이터를 생성하는 것을 특징으로 한다.
이는, 실외에 설치된 상기 2대의 라인 스캔 카메라에 각각 하나씩 밀착 고정된 제1GPS 및 제2GPS간의 상대적 위치 데이터를 획득하여 실외 환경의 전방위 입체 영상을 획득하기 위한 것이다. 또는, 실내에 설치된 상기 2대의 라인 스캔 카메라에 각각 하나씩 밀착 고정하되 높이 차이가 있도록 고정된 제1레이저 반사판과 제2레이저 반사판에 토탈 스테이션을 이용해 레이저를 조사하고 반사시켜 상대적 위치 데이터 및 상기 2대의 라인 스캔 카메라의 촬영시의 촬영되는 회전 방향을 동시에 획득하여 실내 환경의 전방위 입체 영상을 획득할 수도 있다.
상기 2대의 라인 스캔 카메라는 5 내지 8cm 사이의 범위에서 이격되어 설치될 수 있다.
그리고, 본 발명의 다른 일면에 따른, 전방위 입체 영상 생성 장치는, 모터의 회전축에 결합된 지지 플레이트 상에 일정 거리 이격되어 설치되며, 상기 모터에 의해 구동된 상기 회전축의 회전 동안 회전하면서 전방에 대한 라인 단위의 영상 데이터를 획득하는 2대의 라인 스캔 카메라; 상기 영상 데이터의 획득 시에 대응되는 상기 2대의 라인 스캔 카메라 각각의 위치 데이터를 획득하는 위치 데이터 획득 수단; 상기 위치 데이터에 대응시켜 상기 라인 단위의 영상 데이터를 저장하는 저장 수단; 및 상기 저장 수단에 저장된 데이터를 이용하여 360도 전방위에 대한 양안시차 방식의 입체 영상 데이터를 생성하는 합성부를 포함한다.
상기 위치 데이터 획득 수단은, 상기 2대의 라인 스캔 카메라 중 제1카메라 주위에 밀착 고정된 제1GPS와 상기 2대의 라인 스캔 카메라 중 제2카메라 주위에 밀착 고정된 제2GPS를 포함하고, 상기 합성부는 상기 회전 동안 변동이 없는 상기 제1GPS의 위치 데이터에 대응된 상기 제1카메라의 영상 데이터를 좌안용 영상 데이터로하고, 상기 회전 동안 변동하는 상기 제2GPS의 위치 데이터에 대응된 상기 제2카메라의 영상 데이터를 우안용 영상 데이터로하여, 시계 방향 회전 또는 반시계 방향 회전에 대한 상기 입체 영상 데이터를 생성할 수 있다. 이 경우는, 실외에 설치된 상기 2대의 라인 스캔 카메라와 상기 제1GPS 및 상기 제2GPS를 통하여 실외 환경의 전방위 입체 영상을 획득하기 위한 경우이다.
또한, 상기 위치 데이터 획득 수단은, 상기 회전의 초기에, 상기 제1GPS의 좌표를 원점 위치 데이터로 생성하고, 상기 제2GPS에 대하여 상기 제1GPS의 좌표에 상대적인 좌표를 해당 위치 데이터로 생성하되, 상기 회전 중에 상기 모터에 장착된 엔코더가 발생하는 전기적 신호를 이용하여 상기 제1카메라를 중심으로 상대적으로 회전하는 상기 제2카메라에 대하여 상기 제1카메라의 좌표에 상대적인 좌표를 산출하여 해당 위치의 위치 데이터를 생성할 수 있다.
상기 위치 데이터 획득 수단은, 상기 2대의 라인 스캔 카메라 중 제1카메라 주위에 밀착 고정된 제1레이저 반사판, 및 상기 2대의 라인 스캔 카메라 중 제2카메라 주위에 밀착 고정되며 상기 제1레이저 반사판 보다 높이 차이가 있도록 고정된 제2레이저 반사판에 레이저를 조사하고 반사되는 레이저를 이용하여 상기 제1 레이저 반사판 및 상기 제2 레이저 반사판의 위치 데이터를 산출하는 토탈 스테이션을 포함하고, 상기 합성부는 회전 중심에 있는 상기 제1 레이저 반사판의 위치 데이터에 대응된 상기 제1카메라의 영상 데이터를 좌안용 영상 데이터로하고, 상기 제1 레이저 반사판을 중심으로 상대적으로 회전하는 상기 제2 레이저 반사판의 위치 데이터에 대응된 상기 제2카메라의 영상 데이터를 우안용 영상 데이터로하여, 시계 방향 회전 또는 반시계 방향 회전에 대한 상기 입체 영상 데이터를 생성할 수 있다. 이 경우는 실내에 설치된 상기 2대의 라인 스캔 카메라와 상기 제1레이저 반사판 및 상기 제2레이저 반사판을 이용해 실내 환경의 전방위 입체 영상을 획득하기 위한 경우이다.
상기 토탈 스테이션은, 상기 회전의 초기에, 상기 제2 레이저 반사판 보다 높게 설치된 상기 제1 레이저 반사판의 좌표를 상기 제1카메라의 위치에 해당하는 원점 위치 데이터로 생성하고, 상기 제2 레이저 반사판에 대하여 상기 제1 레이저 반사판의 좌표에 상대적인 좌표를 상기 제2카메라의 위치에 해당하는 위치 데이터로 생성하되, 상기 회전 중에 상기 모터에 장착된 엔코더가 발생하는 전기적 신호를 이용하여 상기 제1 카메라를 중심으로 상대적으로 회전하는 상기 제2 카메라에 대하여 상기 제1 카메라의 좌표에 상대적인 좌표를 산출하여 해당 위치의 위치 데이터를 생성할 수 있다.
본 발명에 따른 전방위 입체 영상 생성 방법 및 장치에 따르면, 기존의 카메라 영상의 취합과정에서 발생했던 오버랩 문제 없이, 두 대의 라인스캔카메라를 회전하면서 획득한 라인단위의 영상을 합성해 전방위에 대한 동적인 입체 영상을 고품질로 제공할 수 있다.
또한, 상대적으로 저가인 라인스캔카메라를 이용하므로 비용이 절감되고, 외산 장비를 대체해 국내 기술로 개발된 장비들을 이용해 공간정보구축이 가능하도록 한다.
그리고, 실내에서는 두 대의 라인스캔카메라에 설치한 레이저 반사판과 토탈스테이션을 이용하고, 실외에서는 두 대의 라인스캔카메라와 GPS를 이용하여 최초 촬영되는 지점에서의 주시방향(카메라가 바라보는 방향)을 알아 낼 수 있으며, 두 대의 라인스캔카메라를 360도 회전하면서 움직임을 통하여 획득한 동적인 라인단위의 영상을 획득하고, 위치 데이터를 맵핑하여 현재 위치에 대한 실외와 실내에 대한 양안시차 방법의 고해상도 동적인 전방위 입체 영상을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 전방위 입체 영상 생성 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 전방위 입체 영상 생성 장치의 동작을 설명하기 위한 흐름도이다.
도 3은 본 발명의 다른 실시예에 따른 전방위 입체 영상 생성 장치를 설명하기 위한 도면이다.
도 4는 전방위 입체 영상에 대한 예이다.
도 5는 좌안용 영상과 우안용 영상의 합성을 설명하기 위한 도면이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 전방위 입체 영상 생성 장치(100)를 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 전방위 입체 영상 생성 장치(100)는, 삼각대의 지지체에 장착된 모터(10)의 회전축에 결합된 지지 플레이트 상에 일정 거리 이격되어 설치된 2대의 라인 스캔 카메라(111, 112), 및 제어장치(130)를 포함한다. 이외에도 여기서는 위치 데이터 획득을 위해 제1카메라(111) 주위(예를 들어, 제1카메라(111) 상부)에 밀착 고정된 제1레이저 반사판(115), 제2카메라(112) 주위(예를 들어, 제1레이저 반사판(115) 보다 낮은 위치에 제2카메라(112) 상부)에 밀착 고정된 제2레이저 반사판(116), 및 토탈 스테이션(120)을 포함한다. 후술하는 바와 같이 도 3에서는 위치 데이터 획득 수단으로서 제1GPS(Global Position System)(215)와 제2 GPS(216)를 이용하는 구성을 설명한다.
도 1에서, 2대의 라인 스캔 카메라(111, 112)는 사람의 양안의 거리와 유사하게 6.5cm 정도로 이격되어 설치되며, 필요에 따라 5 내지 8cm 사이의 범위에서 선택되어 이격되도록 설치될 수 있다. 이외에도 다른 특수 목적의 경우에는 라인 스캔 카메라(111, 112)의 이격 거리는 이러한 이격 거리보다 더 큰 이격 거리로 설치될 수도 있다. 본 발명에서는 에어리어(area) 스캔 방식의 일반적인 카메라를 사용하지 않으며, 이러한 에어리어(area) 스캔 방식의 영상의 취합과정에서 발생했던 영상 간의 오버랩 문제를 해결하고, 상대적으로 비용도 절감될 수 있는 라인 스캔 카메라(111, 112)를 사용한다. 라인 스캔 카메라(111, 112)는 에어리어(area) 단위로 영상을 획득하지 않으며, 칼럼 단위의 화소들에 대한 CMOS, 또는 CCD(Charge Coupled Device) 센서를 구비하여 라인 단위의 정밀한 영상을 획득하기 위한 디지털 카메라이다. 라인 스캔 카메라(111, 112)로부터의 (칼럼) 라인 단위의 영상 데이터를 합성하여 일정 에어리어 영상을 합성할 수 있으며, 후술하는 바와 같이 라인 스캔 카메라(111, 112)의 회전에 따라 360도 전방위의 영상 획득이 가능하며, 양안의 거리 정도로 이격된 라인 스캔 카메라(111, 112)의 영상을 합성하여 양안시차 방식의 동적인 입체(3차원) 영상을 획득할 수도 있다.
라인 스캔 카메라(111, 112)로부터의 라인 단위의 영상 데이터를 에어리어(area) 영상으로 합성하기 위하여는 해당 영상이 촬영된 위치를 알아야 한다. 즉, 디스플레이 장치의 해당 디스플레이 해상도의 칼럼 수에 맞게 라인 스캔 카메라(111, 112)로 촬영 시의 촬영 위치에 기초하여 라인 단위의 영상을 취합함으로써 디스플레이 장치의 화면에 에어리어(area) 영상을 디스플레이할 수 있으며, 특히, 라인 스캔 카메라(111, 112)를 회전하면서 360도 전방위의 라인 단위 영상을 획득하는 경우에 일정 위치에서 본 그 중 일부의 에어리어(area) 영상을 디스플레이하기 위하여 각 라인 영상의 획득 시의 위치 데이터가 요구된다.
이를 위하여 제어장치(130)는 모터(10) 회전축이 시계 방향 또는 반시계 방향으로 일정 속도로 회전하도록 그 구동을 제어할 수 있다.
모터(10) 회전축의 시계 방향 또는 반시계 방향 회전에 따라 2대의 라인 스캔 카메라(111, 112)가 해당 방향으로 회전하면서 전방에 대한 라인 단위의 영상 데이터를 획득한다. 이때, 토탈 스테이션(120)은 라인 스캔 카메라(111, 112)가 영상 데이터를 획득 시에 대응되는 각각의 위치 데이터를 획득한다. 제어장치(130)의 저장 매체(131)는 위와 같이 획득되는 위치 데이터에 대응시켜 라인 단위의 영상 데이터를 저장하며, 합성부(132)는 저장 매체(131)에 저장된 데이터를 이용하여 360도 전방위에 대한 양안시차 방식의 입체 영상 데이터를 생성할 수 있다. 즉, 2대의 라인 스캔 카메라(111, 112)와 제1레이저 반사판(115) 및 제2레이저 반사판(116)는 실내에 설치될 때이며, 위와 같이 합성부(132)는 저장 매체(131)에 저장된 데이터를 이용하여 360도 전방위에 대한 양안시차 방식의 입체 영상 데이터를 생성할 수 있다.
도 2의 흐름도를 참조하여, 본 발명의 일실시예에 따른 전방위 입체 영상 생성 장치(100)의 동작을 좀 더 자세히 설명한다.
먼저, 토탈 스테이션(120)에서는 제1레이저 반사판(115)과 제2레이저 반사판(116)까지의 거리 및 제1레이저 반사판(115)과 제2레이저 반사판(116) 사이의 각도를 산출하여 제1레이저 반사판(115)과 제2레이저 반사판(116)의 좌표(위치 데이터)를 생성할 수 있다(S10). 토탈 스테이션(120)은 광파기를 이용해 반사판(115, 116)으로 레이저를 조사하고 반사되는 레이저를 분석해 제1레이저 반사판(115)과 제2레이저 반사판(116)까지의 거리를 측정할 수 있으며, 측각기를 이용해 조사 레이저와 반사 레이저의 측각을 통하여 제1레이저 반사판(115)과 제2레이저 반사판(116) 사이의 각도를 산출할 수 있다. 이를 기초로 토탈 스테이션(120)은 삼각함수를 이용해 위와 같은 반사판(115)까지의 수평거리, 방위각, 고저차 등을 산출하여 각 반사판(115, 116)의 상대적 좌표를 산출할 수 있다.
특히, 라인 스캔 카메라(111, 112)의 회전의 초기(또는 회전 직전)에 높이 차이가 있도록 설치된 제1레이저 반사판(115)과 제2레이저 반사판(116)으로부터 라인 스캔 카메라(111, 112)의 상대적 위치와 회전 방향을 인식할 수 있다(S20). 예를 들어, 회전 초기에 토탈 스테이션(120)은 제2레이저 반사판(116) 보다 높게 설치된 제1레이저 반사판(115)의 좌표가 원점(회전의 중심)(예를 들어, 0, 0, 0)이 되는 원점 위치 데이터(제1카메라(111)의 위치에 해당)를 생성할 수 있으며, 이에 따라 제2레이저 반사판(116)에 대하여는 제1 레이저 반사판(115)의 좌표에 상대적인 좌표(예를 들어, X, Y, Z)를 해당 위치 데이터(제2카메라(112)의 위치에 해당)로 생성할 수 있게 된다. 라인 스캔 카메라(111, 112)에 설치된 양쪽의 반사판(115, 116)의 높이가 같을 경우 어느 방향(시계 또는 반시계 방향)으로 카메라 회전이 되고 있는지 알 수가 없으나, 반사판(115, 116)의 높이에 차이를 두어 카메라(111, 112)의 회전방향(위치 좌표가 바뀌는 카메라의 시계 방향 또는 반시계 방향의 회전 방향)을 알 수 있도록 한 것이다.
이 후, 모터(10) 회전축의 시계 방향 또는 반시계 방향 회전에 따라 2대의 라인 스캔 카메라(111, 112)가 해당 방향으로 회전하면서 전방에 대한 영상을 촬영하여 라인 단위의 영상 데이터를 획득한다(S30).
이때, 토탈 스테이션(120)은 라인 스캔 카메라(111, 112)가 영상 데이터를 획득 시에 대응되는 각각의 위치 데이터를 획득한다(S40). 예를 들어, 토탈 스테이션(120)은 회전 초기에 제2레이저 반사판(116) 보다 높게 설치된 제1레이저 반사판(115)의 좌표를 원점(회전의 중심)(예를 들어, 0, 0, 0)으로 하는 제1카메라(111)의 위치에 해당하는 원점 위치 데이터를 생성하였고, 제2레이저 반사판(116)에 대하여는 제1 레이저 반사판(115)의 좌표에 상대적인 좌표(예를 들어, X, Y, Z)를 제2카메라(112)의 위치에 해당하는 위치 데이터로 생성하였으며, 이를 이용하여 회전 중 라인 스캔 카메라(111, 112)가 영상 데이터를 획득하는 동안에는, 모터(10)에 장착된 엔코더(11)가 발생하는 전기적 신호를 이용하여 라인 스캔 카메라(111, 112)의 위치 데이터를 획득할 수 있다. 이때, 제1카메라(111)를 중심으로 제2카메라(112)가 회전하므로, 회전 동안 제1카메라(111)의 위치 데이터는 동일하며, 엔코더(11)로부터의 전기적 신호(회전 정보)에 따라 토탈 스테이션(120)은 제1카메라(111)를 중심으로 상대적으로 회전하는 제2카메라(112)에 대하여 제1카메라(111)의 좌표에 상대적인 좌표를 산출하여 해당 위치의 위치 데이터를 생성할 수 있다.
제어장치(130)의 저장 매체(131)는 위와 같이 획득되는 위치 데이터에 대응시켜 라인 단위의 영상 데이터를 저장하며(S50), 합성부(132)는 저장 매체(131)에 저장된 데이터를 이용하여 360도 전방위에 대한 양안시차 방식의 입체 영상 데이터를 생성할 수 있다(S60).
예를 들어, 합성부(132)는 회전 중심에 있는 제1 레이저 반사판(115)의 위치 데이터에 대응된 제1카메라(111)의 영상 데이터를 좌안용 영상 데이터로하고, 제1 레이저 반사판(115)을 중심으로 상대적으로 회전하는 제2 레이저 반사판(116)의 위치 데이터에 대응된 제2카메라(112)의 영상 데이터를 우안용 영상 데이터로하여, 시계 방향 회전 또는 반시계 방향 회전에 대한 해당 입체 영상 데이터를 생성할 수 있다.
예를 들어, 합성부(132)는 저장 매체(131)에 저장된 도 4와 같은 위치별 라인 단위의 360도 전방위 영상으로부터, 디스플레이하고자하는 디스플레이 장치의 해당 디스플레이 해상도의 칼럼 수에 맞게 라인 단위의 영상을 취합하여 제공함으로써 디스플레이 장치의 화면에 에어리어(area) 영상이 디스플레이이되도록 할 수 있다. 이때, 라인 스캔 카메라(111, 112)로부터 양안에 해당하는 영상이 획득되므로, 합성부(132)는 프레임 단위로 시차를 두어 오드(odd) 프레임에는 제1카메라(111)의 좌안용 영상 데이터를 제공하고 이븐(even) 프레임에는 제2카메라(112)의 우안용 영상 데이터가 제공되도록 합성된 해당 입체 영상 데이터를 제공함으로써, 도 5와 같이 시각적으로 동적인 입체(3차원)가 느껴지도록 할 수 있다.
지금까지, 실내에서 실내 환경에 대한 양안시차 방식의 입체 영상 데이터를 생성하기 위하여, 제1레이저 반사판(115), 제2레이저 반사판(116) 및 토탈 스테이션(120)을 이용하는 구성을 설명하였고, 이하에서는 도 3과 같이 실외에서 2대의 라인 스캔 카메라(211, 212), 제1카메라(211) 주위에 밀착 고정된 제1GPS(215)와 제2카메라(212) 주위에 밀착 고정된 제2GPS(216)을 이용하여 위와 유사하게 실외 환경의 전방위 입체 영상을 획득하는 방법을 기술한다.
도 3을 참조하면, 본 발명의 다른 실시예에 따른 전방위 입체 영상 생성 장치(200)는, 삼각대의 지지체에 장착된 모터(10)의 회전축에 결합된 지지 플레이트 상에 일정 거리 이격되어 설치된 2대의 라인 스캔 카메라(211, 212), 및 제어장치(230)를 포함한다. 여기서도 2대의 라인 스캔 카메라(211, 212)는 사람의 양안의 거리와 유사하게 6.5cm 정도로 이격되어 설치되며, 필요에 따라 5 내지 8cm 사이의 범위에서 선택되어 이격되도록 설치될 수 있다. 또한, 제1GPS(Global Position System)(215)와 제2 GPS(216)는 각각이 제1카메라(211)와 제2카메라(212)의 주위(예를 들어, 상부)에 각각 밀착고정 된다. 여기서도 도 2의 S10 단계를 제외하고, S20~S60 단계를 참조하여 설명한다.
여기서도, 제어장치(230)는 모터(10) 회전축이 시계 방향 또는 반시계 방향으로 일정 속도로 회전하도록 그 구동을 제어할 수 있다.
모터(10) 회전축의 시계 방향 또는 반시계 방향 회전에 따라 2대의 라인 스캔 카메라(111, 112)가 해당 방향으로 회전하면서 전방에 대한 라인 단위의 영상 데이터를 획득한다. 이때, 제어장치(230) 내부 또는 외부에 구비될 수 있는 위치 데이터 획득 수단은, 제1GPS(215)와 제2 GPS(216)가 획득하는 예를 들어, WGS84좌표계의 측지좌표로서, 위도(φ), 경도(λ), 고도(h) 등의 센서 데이터를 이용하여, 라인 스캔 카메라(211, 212)가 영상 데이터를 획득 시에 대응되는 카메라(211, 212) 각각의 고정밀 위치 데이터를 획득한다. 이에 따라 제어장치(230)의 저장 매체(231)는 위와 같이 획득되는 위치 데이터에 대응시켜 라인 단위의 영상 데이터를 저장하며, 합성부(232)는 저장 매체(231)에 저장된 데이터를 이용하여 360도 전방위에 대한 양안시차 방식의 입체 영상 데이터를 생성할 수 있다. 즉, 여기서는 2대의 라인 스캔 카메라(211, 212)와 제1GPS(215) 및 제2 GPS(216)가 실외에 설치될 때이며, 위와 같이 합성부(232)는 저장 매체(231)에 저장된 데이터를 이용하여 실외 환경의 360도 전방위에 대한 양안시차 방식의 입체 영상 데이터를 생성할 수 있다.
좀 더 구체적으로 설명하면, 여기서는 라인 스캔 카메라(211, 212)의 회전의 초기(또는 회전 직전)에 제1GPS(215) 및 제2 GPS(216)의 높이 차이가 없더라도 GPS 센서 데이터를 이용해 라인 스캔 카메라(211, 212)의 상대적 위치와 회전 방향을 인식할 수 있다(S20). 예를 들어, 회전 초기에 제어장치(230) 내부 또는 외부에 구비될 수 있는 위치 데이터 획득 수단은, 제1GPS(215)의 센서 데이터에 기초한 제1GPS(215)의 좌표가 원점(회전의 중심)(예를 들어, 0, 0, 0)이 되는 원점 위치 데이터(제1카메라(211)의 위치에 해당)를 생성할 수 있으며, 이에 따라 제2GPS(216)에 대하여는 제1GPS(215)의 좌표에 상대적인 좌표(예를 들어, φ, λ, h)를 해당 위치 데이터(제2카메라(212)의 위치에 해당)로 생성할 수 있게 된다. 여기서는 라인 스캔 카메라(211, 212)에 설치된 양쪽의 GPS(215, 216)의 높이가 다르더라도 회전 초기에 그 좌측 또는 우측 위치를 알 수 있게 하는 제1GPS(215)와 제2GPS(216)의 센서 데이터에 기초한 절대 위치가 회전방향(시계 또는 반시계 방향)을 알 수 있게 한다.
이 후, 모터(10) 회전축의 시계 방향 또는 반시계 방향 회전에 따라 2대의 라인 스캔 카메라(211, 212)가 해당 방향으로 회전하면서 전방에 대한 라인 단위의 영상 데이터를 획득한다(S30).
이때, 제어장치(230) 내부 또는 외부에 구비될 수 있는 위치 데이터 획득 수단은, 라인 스캔 카메라(211, 212)가 영상 데이터를 획득 시에 대응되는 각각의 위치 데이터를 획득한다(S40). 예를 들어, 위치 데이터 획득 수단은, 회전 초기에 제1GPS(215)의 위치에 기초하여 제1카메라(211)의 좌표를 원점(회전의 중심)(예를 들어, 0, 0, 0)으로 원점 위치 데이터를 생성하였고, 제2GPS(216)에 대하여는 제1GPS(215)의 좌표에 상대적인 좌표(예를 들어, φ, λ, h)를 제2카메라(112)의 위치에 해당하는 위치 데이터로 생성하였으며, 이를 이용하여 회전 중 라인 스캔 카메라(211, 212)가 영상 데이터를 획득하는 동안에는, 모터(10)에 장착된 엔코더(11)가 발생하는 전기적 신호를 이용하여 라인 스캔 카메라(211, 212)의 위치 데이터를 획득할 수 있다. 이때, 제1카메라(211)를 중심으로 제2카메라(212)가 회전하므로, 회전 동안 제1카메라(211)의 위치 데이터는 동일하며, 엔코더(11)로부터의 전기적 신호(회전 정보)에 따라 위치 데이터 획득 수단은, 제1카메라(211)를 중심으로 상대적으로 회전하는 제2카메라(212)에 대하여 제1카메라(211)의 좌표에 상대적인 좌표를 산출하여 해당 위치의 위치 데이터를 생성할 수 있다.
제어장치(230)의 저장 매체(231)는 위와 같이 획득되는 위치 데이터에 대응시켜 라인 단위의 영상 데이터를 저장하며(S50), 합성부(232)는 저장 매체(231)에 저장된 데이터를 이용하여 360도 전방위에 대한 양안시차 방식의 입체 영상 데이터를 생성할 수 있다(S60).
예를 들어, 합성부(232)는 회전 중심에 있는 제1GPS(215)의 위치 데이터에 대응된 제1카메라(211)의 영상 데이터를 좌안용 영상 데이터로하고, 제1GPS(215)을 중심으로 상대적으로 회전하는 제2GPS(216)의 위치 데이터에 대응된 제2카메라(212)의 영상 데이터를 우안용 영상 데이터로하여, 시계 방향 회전 또는 반시계 방향 회전에 대한 해당 입체 영상 데이터를 생성할 수 있다.
여기서도, 예를 들어, 합성부(232)는 저장 매체(231)에 저장된 도 4와 같은 위치별 라인 단위의 360도 전방위 영상으로부터, 디스플레이하고자하는 디스플레이 장치의 해당 디스플레이 해상도의 칼럼 수에 맞게 라인 단위의 영상을 취합하여 제공함으로써 디스플레이 장치의 화면에 에어리어(area) 영상이 디스플레이이되도록 할 수 있다. 이때, 라인 스캔 카메라(211, 212)로부터 양안에 해당하는 영상이 획득되므로, 합성부(232)는 프레임 단위로 시차를 두어 오드(odd) 프레임에는 제1카메라(211)의 좌안용 영상 데이터를 제공하고 이븐(even) 프레임에는 제2카메라(212)의 우안용 영상 데이터가 제공되도록 합성된 해당 입체 영상 데이터를 제공함으로써, 도 5와 같이 시각적으로 동적인 입체(3차원)가 느껴지도록 할 수 있다.
이와 같이, 본 발명에서는, 실내에서 두 대의 라인스캔카메라(111,112)에 설치한 레이저 반사판(115,116)과 토탈스테이션(120)을 이용하고, 실외에서는 두 대의 라인스캔카메라(211,212)와 GPS(215,126)를 이용하여, 두 대의 라인스캔카메라를 360도 회전하면서 움직임을 통하여 획득한 동적인 라인단위의 영상을 획득하고, 위치 데이터를 맵핑하여 현재 위치에 대한 실외와 실내에 대한 양안시차 방법의 고해상도 동적인 전방위 입체 영상을 제공할 수 있으며, 이때 기존의 카메라 영상의 취합과정에서 발생했던 오버랩 문제 없이, 두 대의 라인스캔카메라(111,112/211,212)를 회전하면서 획득한 라인단위의 영상을 합성해 전방위에 대한 동적인 입체 영상을 고품질로 제공할 수 있다. 또한, 상대적으로 저가인 라인스캔카메라를 이용하므로 비용이 절감되고, 외산 장비를 대체해 국내 기술로 개발된 장비들을 이용해 공간정보구축이 가능하도록 하였다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
111, 112, 211, 212: 라인 스캔 카메라
115, 116: 레이저 반사판
120: 토탈 스테이션
215, 216: GPS

Claims (11)

  1. 모터의 회전축에 결합된 지지 플레이트 상에 일정 거리 이격되어 설치된 2대의 라인 스캔 카메라를 상기 모터에 의해 구동된 상기 회전축의 회전 동안 회전하면서 전방에 대한 라인 단위의 영상 데이터를 획득하고,
    상기 영상 데이터의 획득 시에 대응되는 상기 2대의 라인 스캔 카메라 각각의 위치 데이터를 획득하며,
    상기 위치 데이터에 대응시켜 상기 라인 단위의 영상 데이터를 저장 수단에 저장하여 360도 전방위에 대한 양안시차 방식의 입체 영상 데이터를 생성하는 것을 특징으로 하는 전방위 입체 영상 생성 방법.
  2. 제1항에 있어서,
    상기 2대의 라인 스캔 카메라는 실외에 설치되고, 상기 위치 데이터를 획득 시에 상기 2대의 라인 스캔 카메라에 각각 하나씩 밀착 고정된 제1GPS 및 제2GPS 간의 상대적 위치 데이터를 획득하며, 실외 환경의 전방위 입체 영상을 위한 상기 입체 영상 데이터를 생성하기 위한 것을 특징으로 하는 전방위 입체 영상 생성 방법.
  3. 제1항에 있어서,
    상기 2대의 라인 스캔 카메라는 실내에 설치되고, 상기 위치 데이터를 획득 시에 상기 2대의 라인 스캔 카메라에 각각 하나씩 밀착 고정하되 높이 차이가 있도록 고정된 제1레이저 반사판과 제2레이저 반사판에 토탈 스테이션을 이용해 레이저를 조사하고 반사시켜 해당 상대적 위치 데이터 및 상기 2대의 라인 스캔 카메라의 촬영시의 촬영되는 회전 방향을 동시에 획득하며, 실내 환경의 전방위 입체 영상을 위한 상기 입체 영상 데이터를 생성하기 위한 것을 특징으로 하는 전방위 입체 영상 생성 방법.
  4. 제1항에 있어서,
    상기 2대의 라인 스캔 카메라는 5 내지 8cm 사이의 범위에서 이격된 것을 특징으로 하는 전방위 입체 영상 생성 방법.
  5. 모터의 회전축에 결합된 지지 플레이트 상에 일정 거리 이격되어 설치되며, 상기 모터에 의해 구동된 상기 회전축의 회전 동안 회전하면서 전방에 대한 라인 단위의 영상 데이터를 획득하는 2대의 라인 스캔 카메라;
    상기 영상 데이터의 획득 시에 대응되는 상기 2대의 라인 스캔 카메라 각각의 위치 데이터를 획득하는 위치 데이터 획득 수단;
    상기 위치 데이터에 대응시켜 상기 라인 단위의 영상 데이터를 저장하는 저장 수단; 및
    상기 저장 수단에 저장된 데이터를 이용하여 360도 전방위에 대한 양안시차 방식의 입체 영상 데이터를 생성하는 합성부
    를 포함하는 것을 특징으로 하는 전방위 입체 영상 생성 장치.
  6. 제5항에 있어서,
    상기 위치 데이터 획득 수단은, 상기 2대의 라인 스캔 카메라 중 제1카메라 주위에 밀착 고정된 제1GPS와 상기 2대의 라인 스캔 카메라 중 제2카메라 주위에 밀착 고정된 제2GPS를 포함하고,
    상기 합성부는 상기 회전 동안 변동이 없는 상기 제1GPS의 위치 데이터에 대응된 상기 제1카메라의 영상 데이터를 좌안용 영상 데이터로하고, 상기 회전 동안 변동하는 상기 제2GPS의 위치 데이터에 대응된 상기 제2카메라의 영상 데이터를 우안용 영상 데이터로하여, 시계 방향 회전 또는 반시계 방향 회전에 대한 상기 입체 영상 데이터를 생성하는 것을 특징으로 하는 전방위 입체 영상 생성 장치.
  7. 제6항에 있어서,
    상기 2대의 라인 스캔 카메라, 상기 제1GPS 및 상기 제2GPS는 실외에 설치되고, 실외 환경의 전방위 입체 영상을 위한 상기 입체 영상 데이터를 생성하는 것을 특징으로 하는 전방위 입체 영상 생성 장치.
  8. 제6항에 있어서,
    상기 위치 데이터 획득 수단은, 상기 회전의 초기에, 상기 제1GPS의 좌표를 원점 위치 데이터로 생성하고, 상기 제2GPS에 대하여 상기 제1GPS의 좌표에 상대적인 좌표를 해당 위치 데이터로 생성하되,
    상기 회전 중에 상기 모터에 장착된 엔코더가 발생하는 전기적 신호를 이용하여 상기 제1카메라를 중심으로 상대적으로 회전하는 상기 제2카메라에 대하여 상기 제1카메라의 좌표에 상대적인 좌표를 산출하여 해당 위치의 위치 데이터를 생성하는 것을 특징으로 하는 전방위 입체 영상 생성 장치.
  9. 제5항에 있어서,
    상기 위치 데이터 획득 수단은, 상기 2대의 라인 스캔 카메라 중 제1카메라 주위에 밀착 고정된 제1레이저 반사판, 및 상기 2대의 라인 스캔 카메라 중 제2카메라 주위에 밀착 고정되며 상기 제1레이저 반사판 보다 높이 차이가 있도록 고정된 제2레이저 반사판에 레이저를 조사하고 반사되는 레이저를 이용하여 상기 제1 레이저 반사판 및 상기 제2 레이저 반사판의 위치 데이터를 산출하는 토탈 스테이션을 포함하고,
    상기 합성부는 회전 중심에 있는 상기 제1 레이저 반사판의 위치 데이터에 대응된 상기 제1카메라의 영상 데이터를 좌안용 영상 데이터로하고, 상기 제1 레이저 반사판을 중심으로 상대적으로 회전하는 상기 제2 레이저 반사판의 위치 데이터에 대응된 상기 제2카메라의 영상 데이터를 우안용 영상 데이터로하여, 시계 방향 회전 또는 반시계 방향 회전에 대한 상기 입체 영상 데이터를 생성하는 것을 특징으로 하는 전방위 입체 영상 생성 장치.
  10. 제9항에 있어서,
    상기 2대의 라인 스캔 카메라, 상기 제1레이저 반사판 및 상기 제2레이저 반사판는 실내에 설치되고, 실내 환경의 전방위 입체 영상을 위한 상기 입체 영상 데이터를 생성하는 것을 특징으로 하는 전방위 입체 영상 생성 장치.
  11. 제9항에 있어서,
    상기 토탈 스테이션은, 상기 회전의 초기에, 상기 제2 레이저 반사판 보다 높게 설치된 상기 제1 레이저 반사판의 좌표를 상기 제1카메라의 위치에 해당하는 원점 위치 데이터로 생성하고, 상기 제2 레이저 반사판에 대하여 상기 제1 레이저 반사판의 좌표에 상대적인 좌표를 상기 제2카메라의 위치에 해당하는 위치 데이터로 생성하되,
    상기 회전 중에 상기 모터에 장착된 엔코더가 발생하는 전기적 신호를 이용하여 상기 제1 카메라를 중심으로 상대적으로 회전하는 상기 제2 카메라에 대하여 상기 제1 카메라의 좌표에 상대적인 좌표를 산출하여 해당 위치의 위치 데이터를 생성하는 것을 특징으로 하는 전방위 입체 영상 생성 장치.
KR1020110043146A 2011-05-06 2011-05-06 라인 스캔 카메라를 이용한 전방위 입체 영상 생성 방법 및 장치 KR101222104B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110043146A KR101222104B1 (ko) 2011-05-06 2011-05-06 라인 스캔 카메라를 이용한 전방위 입체 영상 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110043146A KR101222104B1 (ko) 2011-05-06 2011-05-06 라인 스캔 카메라를 이용한 전방위 입체 영상 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120125073A KR20120125073A (ko) 2012-11-14
KR101222104B1 true KR101222104B1 (ko) 2013-01-15

Family

ID=47510305

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110043146A KR101222104B1 (ko) 2011-05-06 2011-05-06 라인 스캔 카메라를 이용한 전방위 입체 영상 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101222104B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102126159B1 (ko) 2019-11-10 2020-06-23 주식회사 에스360브이알 주사형 전방위 카메라 및 주사형 입체 전방위 카메라
KR20200116682A (ko) 2019-04-02 2020-10-13 주식회사 에스360브이알 주사형 모노 및 입체 전방위 영상 획득장치

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101504563B1 (ko) * 2014-04-23 2015-03-20 삼인정보시스템(주) 레이저 스캐닝용 지시자 및 이를 이용한 타겟의 좌표 측정 방법
WO2018048185A1 (ko) * 2016-09-06 2018-03-15 주식회사 에스360브이알 입체 전방위 영상 획득 방법과 재생 방법 및 입체 전방위 카메라
CN109612437B (zh) * 2019-01-14 2020-07-31 华南农业大学 基于Bumblebee与全站仪相结合的双目定位检测方法
CN110111333B (zh) * 2019-05-29 2024-06-11 武汉华正空间软件技术有限公司 立体图像采集系统与方法
CN111044017A (zh) * 2019-11-25 2020-04-21 天津津航技术物理研究所 一种航空大视场扫描仪的外方位元素标定及整机装配方法
CN212343953U (zh) * 2020-04-23 2021-01-12 湖南傲英创视信息科技有限公司 一种面向vr直播的周扫立体全景视频采集系统
KR102314167B1 (ko) * 2021-06-25 2021-10-18 주식회사 우분트디자인 유저의 얼굴 윤곽과 피부 타입을 분석하여 뷰티 케어 제품을 큐레이팅하는 방법
KR102314166B1 (ko) * 2021-06-25 2021-10-18 주식회사 우분트디자인 유저의 얼굴 윤곽과 피부 타입을 분석하여 뷰티 케어 제품을 큐레이팅하는 뷰티 케어 토탈솔루션 디바이스

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000000446A (ko) * 1999-10-22 2000-01-15 백승도 3차원 디지털 입력기
KR20030085721A (ko) * 2002-05-01 2003-11-07 삼성테크윈 주식회사 라인 스캔 카메라의 자동 캘리브레이션 시스템
KR20050083352A (ko) * 2004-02-23 2005-08-26 주식회사 넥스페이스 휴대용 단말장치에서 스테레오 카메라를 이용하여 파노라믹 영상과 3차원 영상을 획득 및 디스플레이를 할 수 있는 장치 및 그 방법.

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000000446A (ko) * 1999-10-22 2000-01-15 백승도 3차원 디지털 입력기
KR20030085721A (ko) * 2002-05-01 2003-11-07 삼성테크윈 주식회사 라인 스캔 카메라의 자동 캘리브레이션 시스템
KR20050083352A (ko) * 2004-02-23 2005-08-26 주식회사 넥스페이스 휴대용 단말장치에서 스테레오 카메라를 이용하여 파노라믹 영상과 3차원 영상을 획득 및 디스플레이를 할 수 있는 장치 및 그 방법.

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200116682A (ko) 2019-04-02 2020-10-13 주식회사 에스360브이알 주사형 모노 및 입체 전방위 영상 획득장치
KR102126159B1 (ko) 2019-11-10 2020-06-23 주식회사 에스360브이알 주사형 전방위 카메라 및 주사형 입체 전방위 카메라

Also Published As

Publication number Publication date
KR20120125073A (ko) 2012-11-14

Similar Documents

Publication Publication Date Title
KR101222104B1 (ko) 라인 스캔 카메라를 이용한 전방위 입체 영상 생성 방법 및 장치
AU2017228625B2 (en) Multi-dimensional data capture of an environment using plural devices
US10084962B2 (en) Spherical video stabilization based on accelerometer data
JP5054971B2 (ja) ディジタル３ｄ／３６０度カメラシステム
US10602059B2 (en) Method for generating a panoramic image
US7463305B2 (en) Photographing assist device and image processing method for achieving simple stereoscopic photographing
KR101218220B1 (ko) 항공촬영 이미지와 수치정보를 합성 처리하는 영상도화 시스템
CN106123798B (zh) 一种数字摄影激光扫描装置
KR101223242B1 (ko) 지형정보 변화에 따른 영상 이미지의 공간영상 도화 시스템
US20060197867A1 (en) Imaging head and imaging system
JP6398472B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
KR101349393B1 (ko) 영상이미지와 수치정보를 합성 처리하는 영상도화 시스템
JP6251142B2 (ja) 測定対象物の非接触検知方法及びその装置
KR101308744B1 (ko) 항공촬영 영상의 지형대비 기준점 합성형 공간영상도화 시스템
EP3351899B1 (en) Method and device for inpainting of colourised three-dimensional point clouds
AU2005200937A1 (en) Imaging system
CN114830030A (zh) 捕获并生成全景三维图像的系统和方法
KR20130121290A (ko) 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법
KR101296601B1 (ko) 지리 정보 파노라마 사진의 제작을 위한 카메라 제어 시스템 및 방법
US20220138971A1 (en) Three-dimensional displacement measuring method and three-dimensional displacement measuring device
JP2006170688A (ja) ステレオ画像作成方法及び３次元データ作成装置
US11943539B2 (en) Systems and methods for capturing and generating panoramic three-dimensional models and images
CN116229034A (zh) 用于采集图像的装置和方法
CA2499241A1 (en) Imaging head and imaging system
JP6610741B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee