KR102061152B1 - 증강현실 서비스 제공 시스템 및 이의 360도 회전 이미지 파일 생성 방법 - Google Patents

증강현실 서비스 제공 시스템 및 이의 360도 회전 이미지 파일 생성 방법 Download PDF

Info

Publication number
KR102061152B1
KR102061152B1 KR1020180058796A KR20180058796A KR102061152B1 KR 102061152 B1 KR102061152 B1 KR 102061152B1 KR 1020180058796 A KR1020180058796 A KR 1020180058796A KR 20180058796 A KR20180058796 A KR 20180058796A KR 102061152 B1 KR102061152 B1 KR 102061152B1
Authority
KR
South Korea
Prior art keywords
image
camera
area
image group
photographed
Prior art date
Application number
KR1020180058796A
Other languages
English (en)
Other versions
KR20190133867A (ko
Inventor
남현우
이은표
Original Assignee
(주)네모랩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)네모랩스 filed Critical (주)네모랩스
Priority to KR1020180058796A priority Critical patent/KR102061152B1/ko
Publication of KR20190133867A publication Critical patent/KR20190133867A/ko
Application granted granted Critical
Publication of KR102061152B1 publication Critical patent/KR102061152B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명에 따른 증강현실 서비스를 위한 360도 회전 이미지 파일 생성 방법은 현실 공간 상의 고정된 위치에서 회전 중인 객체를 기 설정된 단위의 각도별로 촬영하는 단계; 상기 촬영된 객체의 이미지군에 대하여 상기 객체를 증강시키기 위한 마커를 설정하는 단계; 상기 촬영된 객체의 이미지군으로부터 검출된 배경영역을 제거하는 단계 및 상기 배경영역이 제거된 이미지군에 기초하여 360도 회전 이미지 파일을 생성하는 단계를 포함한다.

Description

증강현실 서비스 제공 시스템 및 이의 360도 회전 이미지 파일 생성 방법 {SYSTEM FOR PROVIDING AR SERVICE AND METHOD FOR GENERATING 360 ANGLE ROTATABLE IMAGE FILE THEREOF}
본 발명은 증강현실 서비스 제공 시스템 및 이의 360도 회전 이미지 파일 생성 방법에 관한 것이다.
증강현실(Augmented Reality, AR)은 가상현실의 한 분야로, 현실세계(Real World)에 가상의 객체나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법으로 복합현실이라고도 한다.
기존의 증강현실 서비스에서는 가상 공간이나 현실 공간에 표시하려는 주요 컨텐트를 OBJ, STL, FBX 등의 3D 파일 타입으로 생성하였다. 하지만 3D 파일은 전문 3D 디자이너가 직접 디자인하거나, 고가의 3D 스캐너 장비를 이용하여 생성해야 하기 때문에 제작 비용이 상대적으로 고가의 편이었다.
또한, 3D 스캐너 장비의 경우 유리컵과 같은 투명한 객체는 스캔이 불가능하거나 전체적으로 텍스쳐의 퀄리티가 일반 사진보다 떨어지는 단점이 있다.
이와 관련하여, 한국등록특허공보 제10-1613438호(발명의 명칭: 증강현실 컨텐츠 생성 및 재생시스템과, 이를 이용한 방법)는 일반 동영상 파일을 통하여 마커를 자동으로 추출하여 증강현실 컨텐츠를 생성 및 재생하는 내용을 개시하고 있다.
본 발명의 실시예는 2D 카메라를 통해 획득한 360도 회전 이미지로부터 배경영역을 제거함으로써 자연스러운 증강현실 서비스에 적용가능한 가상 객체를 생성할 수 있는 증강현실 서비스 제공 시스템 및 이의 360도 회전 이미지 파일 생성 방법을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 360도 회전 이미지를 제공하는 증강현실 서비스 제공 시스템은 2D 카메라 및 깊이 카메라를 이용하여 현실 공간 상의 고정된 위치에서 회전 중인 객체를 기 설정된 단위의 각도와 높이별로 촬영하는 객체 촬영부, 상기 객체를 증강시키기 위하여 상기 객체에 설정된 마커를 상기 촬영된 객체의 이미지군으로부터 스캔하는 마커 스캔부, 상기 촬영된 객체의 이미지군으로부터 검출된 배경영역을 제거하는 배경영역 제거부 및 상기 배경영역이 제거된 이미지군에 기초하여 360도 회전 이미지 파일을 생성하고, 상기 생성된 이미지 파일을 통해 증강시킨 객체를 현실 공간과 상호작용시키는 컨트롤부를 포함한다.
상기 배경영역 제거부는 상기 촬영된 객체의 이미지군으로부터 지정된 색상을 투명화하여 상기 배경영역을 제거할 수 있다.
상기 배경영역 제거부는 상기 촬영된 객체의 이미지군에 포함된 객체의 영역 중 상기 지정된 색상과 동일한 부분에 대하여 외곽선을 추출하고, 상기 추출된 외곽선에 기초하여 상기 배경영역이 제거된 실제 객체의 영역을 추출할 수 있다.
상기 배경영역 제거부는 상기 2D 카메라를 통해 획득한 컬러정보와 상기 깊이 카메라를 통해 획득한 깊이정보에 기초하여, 상기 객체의 영역 중 빈공간 영역과 배경영역이 구분된 상기 실제 객체 영역을 추출할 수 있다.
상기 배경영역 제거부는 상기 획득한 깊이정보에 기초하여 상기 촬영된 이미지군에 포함된 객체의 영역을 이진화 이미지로 변환하고, 상기 변환된 이진화 이미지를 기준 영역으로 설정하여 상기 실제 객체 영역을 추출할 수 있다.
상기 컨트롤부는 상기 마커의 스캔 정보를 통해 카메라의 위치 정보를 획득하고, 상기 획득한 카메라의 위치 정보에 대응하도록 상기 객체를 증강시킬 수 있다.
상기 컨트롤부는 상기 마커의 스캔 정보 및 상기 기 설정된 단위의 각도별, 높이별 정보에 기초하여 상기 객체의 회전 및 크기가 조절 가능하도록 증강시킬 수 있다.
또한, 본 발명의 제 2 측면에 따른 증강현실 서비스를 위한 360도 회전 이미지 파일 생성 방법은 현실 공간 상의 고정된 위치에서 회전 중인 객체를 기 설정된 단위의 각도별로 촬영하는 단계; 상기 촬영된 객체의 이미지군에 대하여 상기 객체를 증강시키기 위한 마커를 설정하는 단계; 상기 촬영된 객체의 이미지군으로부터 검출된 배경영역을 제거하는 단계 및 상기 배경영역이 제거된 이미지군에 기초하여 360도 회전 이미지 파일을 생성하는 단계를 포함한다.
상기 회전 중인 객체를 기 설정된 단위의 각도별로 촬영하는 단계는, 2D 카메라를 통해 상기 회전 중인 이미지를 촬영할 수 있다.
상기 회전 중인 객체를 기 설정된 단위의 각도별로 촬영하는 단계는, 상기 회전 중인 객체를 기 설정된 단위의 높이별로 촬영하는 단계를 포함할 수 있다.
상기 배경영역을 제거하는 단계는, 상기 촬영된 객체의 이미지군으로부터 지정된 색상을 투명화하여 상기 배경영역을 제거할 수 있다.
상기 배경영역을 제거하는 단계는, 상기 촬영된 객체의 이미지군에 포함된 객체의 영역 중 상기 지정된 색상과 동일한 부분에 대하여 외곽선을 추출하고, 상기 추출된 외곽선에 기초하여 실제 객체의 영역을 추출할 수 있다.
상기 회전 중인 객체를 기 설정된 단위의 각도별로 촬영하는 단계는, 깊이 카메라를 이용하여 상기 회전 중인 객체를 촬영하고, 상기 배경영역을 제거하는 단계는, 2D 카메라를 통해 획득한 컬러정보와 상기 깊이 카메라를 통해 획득한 깊이정보에 기초하여, 상기 객체의 영역 중 빈공간 영역과 배경영역이 구분된 상기 실제 객체 영역을 추출할 수 있다.
본 발명의 일 실시예는 상기 촬영된 객체의 이미지군에 설정된 마커를 스캔하여 카메라의 위치 정보를 획득하는 단계 및 상기 획득한 카메라의 위치 정보에 대응하도록 상기 객체를 증강시키는 단계를 더 포함할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, DSLR이나 스마트폰의 일반 카메라와 깊이 카메라만을 통해 360도 회전 이미지 파일을 생성할 수 있어, 3D 파일을 직접 디자인하지 않아도 되며 더 적은 제작 비용으로 360도 회전이 가능한 증강현실용 객체 이미지를 제공할 수 있다.
또한, 고가의 3D 스캐너 장비의 경우 텍스쳐의 선명도가 떨어지는 문제가 있으나, 본 발명의 경우 3D 렌더링 결과와 비교하더라도 체감적으로 더욱 선명한 360도 회전 이미지 제공이 가능하다.
또한, 3D 파일의 경우 해당 파일이 다운로드 완료되기 전까지는 재생(표시)이 불가능하나, 본 발명에 따른 360도 회전 이미지의 경우 단일 이미지이므로 초기 재생시간이 빠르며, 모든 파일의 다운로드가 완료되지 않더라도 기 다운로드 완료된 파일의 실시간 표시 및 재생이 가능하다는 장점이 있다.
도 1a는 가상객체를 설명하기 위한 도면이다.
도 1b는 360도 회전 이미지가 적용된 증강현실 서비스의 예시를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 증강현실 서비스 제공 시스템의 블록도이다.
도 3은 촬영된 객체의 이미지군을 설명하기 위한 도면이다.
도 4는 상하좌우 각도 변화에 따른 360도 회전 이미지의 예시도이다.
도 5는 제 1 배경영역 제거 방법을 설명하기 위한 도면이다.
도 6은 제 2 배경영역 제거 방법을 설명하기 위한 도면이다.
도 7은 제 3 배경영역 제거 방법을 설명하기 위한 도면이다.
도 8은 3D 공간에서의 마커와 카메라의 위치 정보 간의 관계를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 360도 회전 이미지 파일 생성 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명의 일 실시예는 증강현실 서비스 제공 시스템(100) 및 이의 360도 회전 이미지 파일 생성 방법에 관한 것이다.
도 1a는 가상객체를 설명하기 위한 도면이다. 도 1b는 360도 회전 이미지가 적용된 증강현실 서비스의 예시를 도시한 도면이다.
증강현실 서비스 제공을 위한 기존의 3D 파일을 제공하는 방식을 대체하기 위한 방법으로, 본 발명의 일 실시예는 턴테이블 기반의 360 회전 이미지(P1)를 적용할 수 있다.
360도 회전 이미지(P1)를 증강현실 서비스에 적용할 경우, 도 1a와 같이 3D 파일처럼 객체를 360도 회전하면서 확인이 가능할 수 있으며 더 적은 용량으로 고화질의 화질을 제공하는 것이 가능하다.
구체적으로 360도 회전 이미지(P1)는 다양한 각도에서 촬영한 사진 파일들의 모음으로서, 각 파일들의 이미지는 일반 사진 이미지와 동일하다.
이러한 360도 회전 이미지(P1)는 다양한 각도에서 촬영한 이미지 파일들을 사용자 조작에 따라 적절한 회전 이미지로 표시할 수 있어, 마치 3D 파일과 동일한 사용 효과를 제공할 수 있다.
한편, 360도 회전 이미지(P1)에는 일반 사진과 같이 배경 영역(P2)이 존재한다.
이와 같이 배경 영역(P2)이 존재하는 360도 회전 이미지(P1)를 증강현실 어플리케이션에서 사용할 경우, 도 1b와 같이 배경영역(P2)도 함께 표시되기 때문에 증강현실 서비스에 적합하지 않은 경우가 생긴다.
또한, 360도 회전 이미지는 고정된 크기를 갖는다. 따라서, 360도 회전 이미지를 증강현실 서비스에 적용하기 위해서는 스캔된 마커의 크기에 따라 360도 회전 이미지도 적절한 크기로 축소하거나 확대할 수 있는 기능이 필요하다.
예를 들어, 카메라를 통해 촬영된 이미지 상에서 마커의 크기가 크거나 작게 스캔된 경우 실제 객체도 동일한 비율로 표시되도록 해야 한다.
본 발명의 일 실시예에 따른 증강현실 서비스 제공 시스템(100) 및 이의 360도 회전 이미지 파일 생성 방법은 2D 카메라를 통해 획득한 360도 회전 이미지로부터 배경영역을 제거함으로써 보다 자연스러운 증강현실 서비스에 적용 가능한 가상 객체를 생성할 수 있다.
이하에서는 도 2 내지 도 8을 참조하여 본 발명의 일 실시예에 따른 증강현실 서비스 제공 시스템(100)에 대해 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 증강현실 서비스 제공 시스템(100)의 블록도이다.
본 발명의 일 실시예에 따른 증강현실 서비스 제공 시스템은 객체 촬영부(110), 마커 스캔부(120), 배경영역 제거부(130) 및 컨트롤부(140)를 포함한다.
객체 촬영부(110)는 2D 카메라 및 깊이 카메라를 포함할 수 있다. 이때, 객체 촬영부(110)는 2D 카메라와 깊이 카메라를 동시에 이용하여 객체를 촬영할 수도 있으며, 순차적으로 이용하여 객체를 촬영하여 컬러 정보와 깊이 정보를 획득할 수 있다. 2D 카메라와 깊이 카메라는 필요에 따라 일체로 구현되거나 독립적으로 구현될 수 있음은 물론이다.
2D 카메라의 일 예시로는 스마트폰에 구비된 카메라일 수 있으며, 깊이 카메라의 일 예시로는 2D 카메라가 구비된 MS의 키넥트 디바이스가 이에 해당할 수 있다.
이러한 객체 촬영부(110)는 현실 공간 상의 고정된 위치에서 회전 중인 객체를 기 설정된 단위의 각도별 그리고 높이별로 촬영한다.
도 3은 촬영된 객체의 이미지군을 설명하기 위한 도면이다. 도 4는 상하좌우 각도 변화에 따른 360도 회전 이미지의 예시도이다.
2D 카메라를 통해 회전 중인 객체를 촬영한 결과, 도 3, 도 4와 같이 회전 각도와 높이별로 촬영된 이미지군을 획득할 수 있다.
예를 들어, 오디오 앰프를 촬영하는 경우 회전 각도를 총 40단계로 설정하고, 카메라의 높이는 총 9단계로 설정하여 회전 각도별, 높이별 총 351개의 2D 이미지군을 획득할 수 있다.
이러한 이미지군의 각 파일은 병합되지 않고 하나의 디렉토리에 보관되며, 추후 화면에 렌더링 시에 각 각도별, 높이별로 해당 개별 이미지를 검출하여 화면상에 출력시키게 된다. 만약 사용자 단말을 통해 회전하면서 촬영을 하는 경우, 각도별로 대표되는 이미지를 교체하면서 화면상에 출력시키므로, 마치 객체가 회전하는 것처럼 보이게 된다.
한편, 본 발명의 일 실시예는 이미지군의 빠른 검출 및 출력을 위해, 촬영된 이미지 파일들에 대하여 별도의 설정파일로 저장하지 않고, 각 이미지 파일에 식별자를 사용하였으며, 도 3의 경우 식별자의 예시로 앞 문자열을 단위 높이로 사용하고, 뒷 문자열을 단위 각도로 사용하였다.
예를 들어, ‘0_0’은 높이 정면, 회전각도 0도를 의미하고, ‘0_1’은 높이 정면, 회전각도 10도를 의미하며, ‘0_18’은 높이 정면, 회전각도 180도를 의미한다. 그리고 ‘1_0’은 높이 15도, 회전각도 0도를 의미하고, ‘2_0’은 높이 30도, 회전각도 0도, ‘6_0’은 높이 90도 회전각도 0도를 의미한다.
또한, 도 4를 참조하면 촬영된 이미지군은 회전 각도뿐만 아니라 단위 높이별로도 촬영됨에 따라, 상하좌우 각도 변화에 따른 다양한 이미지를 획득할 수 있다. 이와 같이 획득한 이미지는 추후 전처리 과정 등을 통해 최종적으로 상하좌우 360도 회전이 가능한 가상 객체로 생성될 수 있다.
한편, 본 발명의 일 실시예는 촬영된 이미지 파일 상에 태그를 설정할 수 있다. 도 4와 같이 앰프의 특정 조작 버튼 상에 태그가 설정되어 있는 경우, 사용자가 해당 태그를 클릭시 팝업 메시지의 형태로 추가 정보가 화면 상에 함께 출력될 수 있다. 이러한 태그의 위치 정보는 360도 회전 이미지를 각도 및 높이별 회전시 함께 트래킹되어 제공될 수 있다.
다시 도 2를 참조하면, 마커 스캔부(120)는 객체를 증강시키기 위하여 객체에 설정된 마커를 촬영된 객체의 이미지군으로부터 스캔한다.
이때, 마커 스캔부(120)가 획득한 스캔 정보는 마커 이미지의 가상 3D 공간 상의 위치 정보일 수 있다. 이와 같이 획득한 마커의 가상 3D 공간 상의 위치 정보를 통해 3D 렌더링 시의 카메라의 위치 정보를 획득할 수 있다.배경영역 제거부(130)는 촬영된 객체의 이미지군으로부터 배경영역을 검출하고 검출된 배경영역을 제거한다.
이때, 본 발명의 일 실시예에 따른 증강현실 서비스 제공 시스템(100)은 제 1 내지 제 3 배경영역 제거 방법 중 하나 이상을 이용하여 배경영역을 제거할 수 있다.
도 5는 제 1 배경영역 제거 방법을 설명하기 위한 도면이다. 도 6은 제 2 배경영역 제거 방법을 설명하기 위한 도면이다. 도 7은 제 3 배경영역 제거 방법을 설명하기 위한 도면이다.
먼저 도 5를 참조하면, 배경영역 제거부(130)는 제 1 배경영역 제거 방법으로 크로마키(Chroma-key) 기법을 통해, 촬영된 객체(P1)의 이미지군으로부터 지정된 색상을 투명화하여 배경영역(P2)을 제거할 수 있다.
즉, 제 1 배경영역 제거 방법을 이용할 경우 지정된 색상을 투명화하여 다른 영상 이미지로 배경으로 치환할 수 있다.
이때, 본 발명의 일 실시예에 따른 제 1 배경영역 제거 방법은 사용자에 의해 촬영된 이미지군 중 카메라의 포커스 정보에 기초하여, 포커싱된 영역과 나머지 영역의 범위를 비교하는 과정을 추가적으로 수행할 수 있다.
즉, 포커스 정보를 통해 객체의 영역으로 추정하고, 추정된 객체의 영역과 나머지 영역의 범위를 비교한 후, 비교 결과 포커싱된 영역과 나머지 영역의 색상 정보에 차이가 있는 경우, 해당 영역을 포커싱된 영역으로 설정한다.
그리고 포커싱된 영역을 제외한 나머지 영역을 배경영역으로 설정한 후, 설정된 배경영역에 해당하는 색상을 투명화할 수 있다. 이에 따라, 본원발명은 배경영역 제거부를 통해 자동으로 배경영역에 해당하는 색상이 지정되어 해당 배경영역의 투명화처리가 가능하다는 장점이 있다.
이러한 제 1 배경영역 제거 방법은 쉽게 구현이 가능하며 효과적이라는 장점이 있어, 본 발명의 일 실시예의 경우 제 1 배경영역 제거 방법만으로도 배경영역 제거 처리가 가능한 경우 다른 제거 방법을 적용하지 않을 수도 있다.
하지만, 촬영하려는 객체 색상과 크로마키 지정 색상이 동일한 경우에는, 해당 객체 영역도 함께 삭제되는 문제가 발생한다. 이는 색상만으로는 실제 촬영하려는 객체와 배경을 구분하기 어렵기 때문이다.
이러한 문제점을 해결하기 위하여, 본 발명의 일 실시예는 외곽선 추출 기반의 제 2 배경영역 제거 방법을 함께 적용할 수 있다.
즉, 배경영역 제거부는 촬영된 객체의 이미지군에 포함된 객체의 영역 중, 상기 지정된 색상과 동일한 부분에 대하여 외곽선을 추출한다. 그리고 추출된 외곽선에 기초하여 배경영역이 제거된 실제 객체의 영역을 추출할 수 있다.
도 6의 (a)를 참조하면 앰프 중앙의 초록색 버튼(P3)은 크로마키 방법 적용시 지정된 색과 동일하기 때문에, 제 1 배경영역 제거 방법을 이용할 경우 투명처리가 될 수 있다.
따라서, 도 6의 (b)와 같이 외곽선을 추출하여 실제 객체의 영역을 검출함으로써, 앰프의 중앙에 위치한 초록색 버튼(P3)이 객체 영역 내부인 것을 인식하여 제 1 배경영역 제거 방법에 따른 투명화 처리가 되는 것을 방지할 수 있다.
또한, 본 발명의 일 실시예에서의 제 2 배경영역 제거 방법은 상술한 포커스 정보에 기초하여 상술한 객체의 내부가 투명화 처리되는 것을 방지할 수 있다.
즉, 포커스 정보를 상술한 바와 같이 포커싱된 영역과 배경영역의 설정이 완료됨에 따라, 본 발명의 일 실시예는 포커싱된 영역과 배경영역의 색상 정보를 추출한다. 그리고 추출된 색상 정보를 비교하여, 상기 설정된 배경영역의 색상 정보와 동일한 색상이 포커싱된 영역에 존재하는 경우 상기 투명화 처리를 생략되도록 할 수 있다.하지만, 제 2 배경영역 제거 방법에 따르면 도 6의 (b)에서 앰프의 상단 손잡이 부분 사이의 빈공간(P4)은 인식하지 못하는 문제가 발생한다.
이러한 문제점을 해결하기 위하여, 본 발명의 일 실시예는 제 1 및 제 2 배경영역 제거 방법과 함께 또는 이와 독립적으로 깊이 카메라 기반의 제 3 배경영역 제거 방법을 적용할 수 있다.
구체적으로 배경영역 제거부(130)는 2D 카메라를 통해 획득한 컬러정보와 깊이 카메라를 통해 획득한 깊이정보에 기초하여, 객체의 영역 중 빈공간 영역과 배경영역이 구분된 실제 객체 영역을 추출할 수 있다.
이때, 깊이정보는 깊이에 따라 값이 달라지며, 획득한 깊이정보를 색상으로 변환하여 표시할 경우 그 색상은 깊이별로 다르게 표시되게 된다. 예를 들어, 가까운 영역은 초록색에 가깝고 먼 영역은 빨간색에 가깝도록 표시될 수 있다.
이러한 깊이정보를 이용하여 객체와 배경을 구분할 경우, 객체와 배경은 깊이값이 다르기 때문에 명확하게 구분할 수 있게 되며, 따라서 도 7의 (a)에서의 객체의 빈공간 영역에서의 배경까지 함께 검출할 수 있게 된다.
예를 들어, 도 7의 (a)에서 촬영하는 객체의 깊이에 해당하는 범위만을 추출하여 이진화할 경우, 도 7의 (b)와 같이 실제 객체에 해당하는 영역만을 추출할 수 있다. 이와 같은 이진화 이미지는 도 7의 (a)에서 실제 객체 영역을 추출할 때의 기준 영역으로 사용할 수 있다.
이러한 이진화 기법에 따른 제 3 배경영역 제거 방법을 수학식을 통해 설명하면 다음과 같다.
[식 1]
Figure 112018050849234-pat00001
식 1에서 B는 배경(Background)을 의미하며, x, y 좌표에 위치한 픽셀에서 산출한 깊이값 D가 지정된 깊이값인 MaxVal을 벗어날 경우 해당 픽셀은 배경을 의미하는 값인 “1”이 된다. 만약 깊이값 D가 지정된 깊이값인 MaxVal 값보다 같거나 작을 경우 객체 촬영 영역(깊이)에 해당하며 배경 영역이 아니므로 해당 픽셀은 “0”이 된다.
이와 같이 배경영역을 구하고 나면, 식 2와 같이 RGB 영상 이미지 중 “R”에서 배경 이미지 영역 “B”와의 차이를 통해 실제 전경(Foreground) 영역 “F”를 구할 수 있다.
[식 2]
Figure 112018050849234-pat00002
이때, “F”는 실제 배경영역이 제거된 객체 영역으로, 본 발명에서 해결하고자 하는 기술적 사항인 기존 배경 제거 기술들의 제약 사항들을 해결할 수 있다.
도 8은 3D 공간에서의 마커와 카메라의 위치 정보 간의 관계를 설명하기 위한 도면이다.
도 2 및 도 8을 참조하면, 본 발명의 일 실시예에서의 컨트롤부(140)는 배경영역이 제거된 이미지군에 기초하여 360도 회전 이미지 파일을 생성하고, 생성된 이미지 파일을 통해 증강시킨 객체를 현실 공간과 상호작용시킬 수 있다.
이때, 컨트롤부(140)는 마커의 스캔 정보를 통해 카메라의 위치 정보를 획득하고, 획득한 카메라의 위치 정보에 대응하도록 3D 렌더링을 통해 증강현실 공간 상에 객체를 증강시킬 수 있다.
이때, 컨트롤부(140)는 예를들어 아래 식 3에 의해 카메라의 위치 정보를 획득할 수 있다
[식 3]
Figure 112018050849234-pat00003
여기에서 (Xc, Yc, Zc)는 카메라의 좌표 정보, (Xm, Ym, Zm)은 마커의 3D 공간 상의 위치 정보를 의미하며, Tcm은 마커의 좌표를 카메라의 좌표로 변환하기 위한 4x4 변환 행렬를 의미한다.
이에 따라, 본 발명의 일 실시예는 최종 계산된 카메라의 위치에 따라 적절한 위치에서 촬영된 360도 회전 이미지를 선택하여 표시해야 한다.
우선 360도 회전 이미지의 경우 3D 파일처럼 다양하고 자유로운 각도에서 확인이 불가능하며, 정해진 높이, 각도에서 촬영된 이미지군만을 보유하고 있다.
따라서, 본 발명의 일 실시예서의 컨트롤부(140)는 마커의 스캔 정보 및 기 설정된 단위의 각도별, 높이별 정보에 기초하여, 촬영된 이미지군 상의 각도 정보, 높이 정보와 마커에 따른 카메라의 위치가 가장 근사한 위치에 해당하는 이미지를 선택할 수 있으며, 이에 따라 객체의 회전 및 크기가 조절 가능하도록 증강현실 공간 상에 증강시킬 수 있다.
한편, 본 발명의 일 실시예는 서로 다른 객체별로 획득된 이미지군에 대해서, 복수의 객체를 동시에 화면 상에 출력시킬 수 있다.
복수의 객체의 이미지군 파일들은 각 객체별로 별도로 촬영되어 저장된다. 이후 사용자에 의해 복수의 객체에 대한 360도 회전 이미지가 동시에 로딩될 경우, 화면 상에는 복수의 객체의 360도 회전 이미지가 랜덤한 순서로 중첩되어 표시될 수 있다.
예를 들어, 화면 상에서 제 1 객체가 먼저 출력되고, 제 2 객체가 제 1 객체에 의해 중첩되어 표시되게 되고, 제 1 및 제 2 객체들은 각각 개별적으로 360도 회전이 가능하게 된다. 이때, 콘텐츠 상에 설정된 내용이나 사용자의 선택에 의해 상하좌우 이동이나 360도 회전시 제 1 객체나 제 2 객체는 각각 저장된 복수의 이미지군의 식별 정보에 기초하여 독립적으로 제어될 수 있다.
즉, 최초 출력시에는 높이 0도, 각도 0도로 출력되나, 이후 제 1 객체는 높이 15도, 각도 20도로 제어함과 동시에 제 2 객체는 높이 30도, 각도 30도로 제어가 가능하다.
한편, 본 발명의 일 실시예에 따른 증강현실 서비스 제공 시스템(100)의 마커 스캔부(120), 배경영역 제거부(130) 및 컨트롤부(140)는 메모리(미도시) 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서(미도시)로 구성될 수 있다.
여기에서, 메모리는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.
예를 들어, 메모리는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.
참고로, 본 발명의 실시예에 따른 도 2에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
이하에서는 도 9를 참조하여 본 발명의 일 실시예에 따른 증강현실 서비스 제공 시스템(100)에서 수행되는 360도 회전 이미지 파일 생성 방법을 설명하도록 한다.
도 9는 본 발명의 일 실시예에 따른 360도 회전 이미지 파일 생성 방법의 순서도이다.
본 발명의 일 실시예에 따른 360도 회전 이미지 파일 생성 방법은 먼저, 현실 공간 상의 고정된 위치에서 회전 중인 객체를 기 설정된 단위의 각도별, 높이별로 촬영한다(S110).
이때, 본 발명의 일 실시예는 회전 중인 객체를 2D 카메라와 깊이 카메라를 이용하여 촬영함으로써 컬러 정보와 깊이 정보를 획득할 수 있다.
다음으로, 촬영된 객체의 이미지군에 대하여 객체를 증강시키기 위한 마커를 설정한다(S120). 이때, 마커는 360도 회전 이미지의 뷰어 어플리케이션이 시작됨에 따라 초기화 과정에서 설정될 수 있으며, 촬영된 객체 이미지군이 입력됨에 따라 설정된 마커가 스캔 과정이 수행될 수 있다. 마커의 스캐닝 과정은 마커의 감지가 완료될 때까지 반복 수행될 수 있다.
다음으로, 촬영된 객체의 이미지군으로부터 검출된 배경영역을 제거하고(S130), 배경영역이 제거된 이미지군에 기초하여 360도 회전 이미지 파일을 생성한다(S140).
이때, 배경영역을 제거하는 방법으로는, 촬영된 객체의 이미지군으로부터 지정된 색상을 투명화하는 제 1 배경영역 제거 방법, 촬영된 객체의 이미지군에 포함된 객체의 영역 중 지정된 색상과 동일한 부분에 대하여 외곽선을 추출하고, 추출된 외곽선에 기초하여 실제 객체의 영역을 추출하는 제 2 배경영역 제거 방법, 컬러 정보와 깊이 정보를 이용하여, 객체의 영역 중 빈공간 영역과 배경영역이 구분된 실제 객체 영역을 추출하는 제 3 배경영역 제거 방법이 하나 이상 적용될 수 있다.
상술한 설명에서, 단계 S410 내지 S140은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 8에서의 증강현실 서비스 제공 시스템(100)에 관하여 이미 기술된 내용은 도 9의 360도 회전 이미지 파일 제공 방법에도 적용된다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 증강현실 서비스 제공 시스템
110: 객체 촬영부
120: 마커 스캔부
130: 배경영역 제거부
140: 컨트롤부

Claims (14)

  1. 360도 회전 이미지를 제공하는 증강현실 서비스 제공 시스템에 있어서,
    2D 카메라 및 깊이 카메라를 이용하여 현실 공간 상의 고정된 위치에서 회전 중인 객체를 기 설정된 단위의 각도와 높이별로 촬영하는 객체 촬영부,
    상기 객체를 증강시키기 위하여 상기 객체에 설정된 마커를 상기 촬영된 객체의 이미지군으로부터 스캔하는 마커 스캔부,
    상기 촬영된 객체의 이미지군으로부터 지정된 색상을 투명화하여 배경영역을 제거하고, 촬영된 객체의 이미지군에 포함된 객체의 영역 중 상기 지정된 색상과 동일한 부분에 대하여 외곽선을 추출하고, 상기 추출된 외곽선에 기초하여 상기 배경영역이 제거된 실제 객체의 영역을 추출하여 상기 배경영역을 제거하고, 상기 2D 카메라를 통해 획득한 컬러정보와 상기 깊이 카메라를 통해 획득한 깊이정보에 기초하여, 상기 객체의 영역 중 빈공간 영역과 배경영역이 구분된 상기 실제 객체 영역을 추출하여 상기 촬영된 객체의 이미지군으로부터 검출된 배경영역을 제거하는 배경영역 제거부 및
    상기 배경영역이 제거된 이미지군에 기초하여 360도 회전 이미지 파일을 생성하고, 상기 생성된 이미지 파일을 통해 증강시킨 객체를 현실 공간과 상호작용시키는 컨트롤부를 포함하는 증강현실 서비스 제공 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 배경영역 제거부는 상기 획득한 깊이정보에 기초하여 상기 촬영된 이미지군에 포함된 객체의 영역을 이진화 이미지로 변환하고, 상기 변환된 이진화 이미지를 기준 영역으로 설정하여 상기 실제 객체 영역을 추출하는 것인 증강현실 서비스 제공 시스템.
  6. 제 1 항 및 제 5항 중 어느 한 항에 있어서,
    상기 컨트롤부는 상기 마커의 스캔 정보를 통해 카메라의 위치 정보를 획득하고, 상기 획득한 카메라의 위치 정보에 대응하도록 상기 객체를 증강시키는 것인 증강현실 서비스 제공 시스템.
  7. 제 6 항에 있어서,
    상기 컨트롤부는 상기 마커의 스캔 정보 및 상기 기 설정된 단위의 각도별, 높이별 정보에 기초하여 상기 객체의 회전 및 크기가 조절 가능하도록 증강시키는 것인 증강현실 서비스 제공 시스템.
  8. 증강현실 서비스를 위한 360도 회전 이미지 파일 생성 방법에 있어서,
    현실 공간 상의 고정된 위치에서 회전 중인 객체를 기 설정된 단위의 각도별로 촬영하고, 깊이 카메라를 이용하여 상기 회전 중인 객체를 촬영하는 단계;
    상기 촬영된 객체의 이미지군에 대하여 상기 객체를 증강시키기 위한 마커를 설정하는 단계;
    상기 촬영된 객체의 이미지군으로부터 지정된 색상을 투명화하여 배경영역을 제거하고, 촬영된 객체의 이미지군에 포함된 객체의 영역 중 상기 지정된 색상과 동일한 부분에 대하여 외곽선을 추출하고, 상기 추출된 외곽선에 기초하여 상기 배경영역이 제거된 실제 객체의 영역을 추출하여 상기 배경영역을 제거하고, 2D 카메라를 통해 획득한 컬러정보와 상기 깊이 카메라를 통해 획득한 깊이정보에 기초하여, 상기 객체의 영역 중 빈공간 영역과 배경영역이 구분된 상기 실제 객체 영역을 추출하여 상기 촬영된 객체의 이미지군으로부터 검출된 배경영역을 제거하는 단계 및
    상기 배경영역이 제거된 이미지군에 기초하여 360도 회전 이미지 파일을 생성하는 단계를 포함하는 360도 회전 이미지 파일 생성 방법.
  9. 제 8 항에 있어서,
    상기 회전 중인 객체를 기 설정된 단위의 각도별로 촬영하는 단계는,
    2D 카메라를 통해 상기 회전 중인 이미지를 촬영하는 것인 360도 회전 이미지 파일 생성 방법.
  10. 제 8 항에 있어서,
    상기 회전 중인 객체를 기 설정된 단위의 각도별로 촬영하는 단계는,
    상기 회전 중인 객체를 기 설정된 단위의 높이별로 촬영하는 단계를 포함하는 것인 360도 회전 이미지 파일 생성 방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 제 8 항 및 제 10 항 중 어느 한 항에 있어서,
    상기 촬영된 객체의 이미지군에 설정된 마커를 스캔하여 카메라의 위치 정보를 획득하는 단계 및
    상기 획득한 카메라의 위치 정보에 대응하도록 상기 객체를 증강시키는 단계를 더 포함하는 360도 회전 이미지 파일 생성 방법.
KR1020180058796A 2018-05-24 2018-05-24 증강현실 서비스 제공 시스템 및 이의 360도 회전 이미지 파일 생성 방법 KR102061152B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180058796A KR102061152B1 (ko) 2018-05-24 2018-05-24 증강현실 서비스 제공 시스템 및 이의 360도 회전 이미지 파일 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180058796A KR102061152B1 (ko) 2018-05-24 2018-05-24 증강현실 서비스 제공 시스템 및 이의 360도 회전 이미지 파일 생성 방법

Publications (2)

Publication Number Publication Date
KR20190133867A KR20190133867A (ko) 2019-12-04
KR102061152B1 true KR102061152B1 (ko) 2020-02-11

Family

ID=69004386

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180058796A KR102061152B1 (ko) 2018-05-24 2018-05-24 증강현실 서비스 제공 시스템 및 이의 360도 회전 이미지 파일 생성 방법

Country Status (1)

Country Link
KR (1) KR102061152B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860448A (zh) * 2020-07-30 2020-10-30 北京华捷艾米科技有限公司 洗手动作识别方法及系统
KR102539827B1 (ko) * 2021-10-27 2023-06-08 한국전자기술연구원 3d ar 객체 영상 실시간 획득 시스템 및 이의 운용 방법
KR102605429B1 (ko) * 2022-04-20 2023-11-23 주식회사 큐에스 증강현실 영상 표시 방법
KR102510767B1 (ko) * 2022-06-27 2023-03-16 주식회사 티웍스 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004166221A (ja) * 1992-02-25 2004-06-10 Atlus Co Ltd 映像イメージの一部を背景に挿入するためのイメージ編集システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100614004B1 (ko) * 2004-11-19 2006-08-21 주식회사 일리시스 자동화된 360°파노라마 이미지 생성 방법
KR102113812B1 (ko) * 2014-09-19 2020-05-22 한국전자통신연구원 Rgb-d 영상을 이용한 실감형 증강현실 구현 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004166221A (ja) * 1992-02-25 2004-06-10 Atlus Co Ltd 映像イメージの一部を背景に挿入するためのイメージ編集システム

Also Published As

Publication number Publication date
KR20190133867A (ko) 2019-12-04

Similar Documents

Publication Publication Date Title
KR102061152B1 (ko) 증강현실 서비스 제공 시스템 및 이의 360도 회전 이미지 파일 생성 방법
KR102431117B1 (ko) 포인트 클라우드 맵핑
JP4698831B2 (ja) 画像変換および符号化技術
JP4879326B2 (ja) ３次元画像を合成するシステム及び方法
CN101689292B (zh) Banana多媒体数字信号编解码器
US8385684B2 (en) System and method for minimal iteration workflow for image sequence depth enhancement
US20150091900A1 (en) Systems and Methods for Depth-Assisted Perspective Distortion Correction
US8767015B2 (en) System and method of image augmentation
US10271038B2 (en) Camera with plenoptic lens
US9990738B2 (en) Image processing method and apparatus for determining depth within an image
KR20120078949A (ko) 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체
JPWO2019050038A1 (ja) 画像生成方法および画像生成装置
AU2015213286B2 (en) System and method for minimal iteration workflow for image sequence depth enhancement
KR101613438B1 (ko) 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법
JP2005275447A (ja) 画像処理装置、画像処理方法及びプログラム
KR101718309B1 (ko) 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법
KR102414377B1 (ko) 색상요소분할 전처리 기반의 플렌옵틱 영상 디코딩 방법
KR102267442B1 (ko) 가변 시점에서 촬영된 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법
AU738692B2 (en) Improved image conversion and encoding techniques
JP4121639B2 (ja) 物体画像切り出し方法、装置、システム及びそのプログラムを記録した媒体
US7432930B2 (en) Displaying digital images
Huang et al. Generation of Animated Stereo Panoramic Images for Image-Based Virtual Reality Systems
CN111489407A (zh) 光场图像编辑方法、装置、设备及存储介质
KR20200091200A (ko) 증강현실 콘텐츠 구현을 위한 3D Object 스캐닝 데이터 최적화 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant