KR101981325B1 - 증강현실 구현 장치 및 방법 - Google Patents

증강현실 구현 장치 및 방법 Download PDF

Info

Publication number
KR101981325B1
KR101981325B1 KR1020170096275A KR20170096275A KR101981325B1 KR 101981325 B1 KR101981325 B1 KR 101981325B1 KR 1020170096275 A KR1020170096275 A KR 1020170096275A KR 20170096275 A KR20170096275 A KR 20170096275A KR 101981325 B1 KR101981325 B1 KR 101981325B1
Authority
KR
South Korea
Prior art keywords
augmented reality
real world
identifier
attribute
unit
Prior art date
Application number
KR1020170096275A
Other languages
English (en)
Other versions
KR20190012772A (ko
Inventor
김정빈
안상철
Original Assignee
주식회사 렛시
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 렛시 filed Critical 주식회사 렛시
Priority to KR1020170096275A priority Critical patent/KR101981325B1/ko
Priority to PCT/KR2017/008235 priority patent/WO2019022279A1/ko
Publication of KR20190012772A publication Critical patent/KR20190012772A/ko
Application granted granted Critical
Publication of KR101981325B1 publication Critical patent/KR101981325B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/444—Spatial browsing, e.g. 2D maps, 3D or virtual spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 실시 예에 따른 증강현실 구현 장치는, 증강현실 구현 장치는, 식별자가 선언된 증강현실 저작물을 불러오는 로딩부, 현실 세계의 객체를 인식하는 객체 인식부, 상기 객체 인식부가 인식한 현실 세계의 객체로부터 속성(Property)을 추출하는 속성 추출부, 상기 속성 추출부가 추출한 상기 현실 세계의 객체에 대한 속성이 상기 증강현실 저작물에 선언된 상기 식별자에 종속되는 기 저장된 속성 정보와 일치하는지 판단하는 속성 판단부 및 상기 속성 판단부의 판단 결과에 따라, 상기 현실 세계의 객체에 가상 객체를 상기 증강현실 저작물에 기 정의된 방식을 통해 증강하는 증강부를 포함한다.

Description

증강현실 구현 장치 및 방법{APPARATUS AND METHOD FOR AUGMENTED REALITY}
본 발명은 증강현실 구현 장치 및 방법에 관한 것이다. 보다 자세하게는 현실 세계의 객체에 선언된 식별자를 바탕으로 객체들에 대한 정보를 관리하며, 증강현실 저작물이 인식하고자 하는 현실 세계의 객체에 대한 식별자를 선언할 수 있는 장치 및 방법에 관한 것이다.
증강현실(AR, Augmented Reality) 기술은 현실 세계에 존재하는 객체에 컴퓨터 그래픽으로 만들어진 가상 객체를 중첩하여 사용자에게 제공하는 기술을 의미하며, 최근 증강현실의 구현이 스마트폰이나 스마트 글라스 등과 같은 엔드 포인트 디바이스로까지 연장됨에 따라, 연구 개발이 집중되고 있는 기술에 해당한다.
종래의 증강현실 기술에서는 현실 세계에 존재하는 수많은 객체들에 대하여 개별적인 식별자(Identifier)를 선언하였으며, 여기서 식별자는 현실 세계의 객체 자체를 의미한다기 보다는 트레이닝된 이미지 또는 특정 좌표를 의미하는 경우가 대부분이었다. 따라서 상이한 증강현실 어플리케이션(Application)에서 동일한 현실 세계의 객체를 선언 했다 하여도, 공통된 관리가 불가능하며, 개별적인 수정을 해야만 한다는 문제점이 있었다.
아울러, 식별자는 특정한 하나의 현실 세계의 객체에 대한 선언이기 때문에, 공통된 속성(Property)을 가지고 있는 현실 세계의 객체 그룹에 대한 관리가 불가능하다는 문제점도 있다. 예를 들어, A라는 상호를 가진 커피 전문점의 B 지역 매장(A-B)과 C 지역 매장(A-C)은 각각의 식별자를 통해 접근하여 개별적으로 증강할 수 있으나, A라는 상호에 대해서 그룹으로 증강하려고 하는 경우 하나의 식별자로 접근할 수 없다.
따라서 상기 언급한 바와 같은 종래의 증강현실 기술의 문제점을 극복하기 위한 새롭고 진보적인 증강현실 구현 장치 및 방법이 요구된다. 본 발명은 이와 관련된 것이다.
대한민국 공개특허공보 제10-2017-0005373호(2016.12.19)
본 발명이 해결하고자 하는 기술적 과제는 현실 세계의 객체에 선언된 식별자를 바탕으로 객체들에 대한 정보를 손쉽게 관리할 수 있는 증강현실 구현 장치 및 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는 증강현실 저작물이 인식하고자 하는 현실 세계의 객체에 대한 식별자를 선언할 수 있는 증강현실 구현 장치 및 방법을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시 예에 따른 증강현실 구현 장치는, 식별자가 선언된 증강현실 저작물을 불러오는 로딩부, 현실 세계의 객체를 인식하는 객체 인식부, 상기 객체 인식부가 인식한 현실 세계의 객체로부터 속성(Property)을 추출하는 속성 추출부, 상기 속성 추출부가 추출한 상기 현실 세계의 객체에 대한 속성이 상기 증강현실 저작물에 선언된 상기 식별자에 종속되는 기 저장된 속성 정보와 일치하는지 판단하는 속성 판단부 및 상기 속성 판단부의 판단 결과에 따라, 상기 현실 세계의 객체에 가상 객체를 상기 증강현실 저작물에 기 정의된 방식을 통해 증강하는 증강부를 포함한다.
일 실시 예에 따르면, 상기 로딩부는, 상기 증강현실 저작물을 외부 장치로부터 로딩할 수 있다.
일 실시 예에 따르면, 상기 증강현실 저작물은, 상기 로딩부에 의해 저작물이 로딩된 상태에서 상기 식별자를 업데이트 하는 업데이트부를 구비할 수 있다.
일 실시 예에 따르면, 상기 속성 판단부는, 상기 현실 세계의 객체의 속성 정보에 관한 데이터와 상기 현실 세계의 객체에 대한 식별자가 상호 연결되어 데이터베이스화되어 있는 온톨로지부를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 속성 판단부는, 상기 온톨로지부에 데이터베이스화되어 있는 상기 현실 세계의 객체에 대한 속성 정보에 관한 데이터를 상기 증강현실 저작물에 선언되는 식별자와 매칭시키는 식별자 관리부를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 속성 판단부는, 상기 증강현실 저작물에 선언된 식별자를 분석하여 상기 분석한 식별자에 종속되는 상기 온톨로지부에 데이터베이스화되어 있는 상기 현실 세계의 객체의 속성 정보의 범위를 분석하는 식별자 분석부를 더 포함할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시 예에 따른
증강현실 구현 방법은, 증강현실 구현 장치가 식별자가 선언된 증강현실 저작물을 불러오는 단계, 상기 증강현실 구현 장치가 객체 인식부가 현실 세계의 객체를 인식하는 단계, 상기 증강현실 구현 장치가 상기 객체 인식부가 인식한 현실 세계의 객체로부터 속성을 추출하는 단계, 상기 증강현실 구현 장치가 상기 속성 추출부가 추출한 상기 현실 세계의 객체에 대한 속성을 증강현실 저작물에 선언된 상기 식별자에 종속되는 기 저장된 속정 정보와 일치하는지 판단하는 단계 및 상기 증강현실 구현 장치가 상기 속성 판단부의 판단 결과에 따라, 상기 현실 세계의 객체에 가상 객체를 상기 증강현실 저작물에 기 정의된 방식을 통해 증강하는 단계를 포함한다.
상기 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시 예에 따른 증강현실 구현 장치는, 프로세서, 메모리 및 현실 세계의 객체를 인식하는 객체 인식부를 포함하고, 상기 프로세서는, 식별자가 선언된 증강현실 저작물을 불러오는 단계, 상기 객체 인식부가 인식한 현실 세계의 객체로부터 속성을 추출하는 단계, 상기 추출한 상기 현실 세계의 객체에 대한 속성을 증강현실 저작물에 선언된 상기 식별자에 종속되는 상기 메모리에 기 저장된 속성 정보와 일치하는지 판단하는 단계 및 상기 판단 결과에 따라, 상기 현실 세계의 객체에 가상 객체를 상기 증강현실 저작물에 기 정의된 방식을 통해 증강하는 단계를 수행한다.
상기와 같은 본 발명에 따르면, 증강 현실 저작물에 식별자를 선언하여 식별자에 종속되는 속성을 갖는 복수의 현실 세계의 객체에 대해 가상 객체를 증강할 수 있으므로 현실 세계 객체 마다 식별자를 증강현실 저작물에 선언할 필요가 없어 저작자가 손쉽게 증강현실 저작물을 관리할 수 있는 효과가 있다.
또한, 현실 세계의 객체에 대해 선언되는 식별자에 종속되는 속성 정보의 추가, 삭제 및 수정이 가능하므로, 증강현실 저작물을 직접 수정하지 않고, 증강하고자 하는 현실 세계의 객체들을 손쉽게 관리할 수 있다는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 증강현실 구현 장치의 전체적인 구성을 나타낸 도면이다.
도 2에는 카메라로 구현된 객체 인식부가 현실 세계 객체인 자동차를 인식하는 모습을 나타낸 도면이다.
도 3은 도 2를 기초로 속성 추출부가 자동차의 속성을 추출하는 모습을 나타낸 도면이다.
도 4는 속성 추출부의 세부적인 구성을 나타낸 도면이다.
도 5는 온톨로지부가 보유하고 있는 데이터베이스의 모식도를 나타낸 도면이다.
도 6은 도 5에 도시된 데이터베이스의 모식도를 현실 세계의 객체에 대입한 예시적인 모식도를 나타낸 도면이다.
도 7은 본 발명의 일 실시 예에 따른 증강현실 구현 장치에 의해 증강된 화면을 나타낸 도면이다.
도 8은 본 발명의 또 다른 실시 예에 따른 증강현실 구현 장치의 하드웨어 구성도를 나타낸 도면이다.
도 9는 본 발명의 또 다른 실시 예에 따른 증강현실 구현 방법의 대표적인 단계를 나타낸 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
본 명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 일 실시 예에 따른 증강현실 구현 장치(100)의 전체적인 구성을 나타낸 도면이다.
이는 본 발명의 목적을 달성하기 위한 바람직한 실시 예일 뿐이며, 필요에 따라 일부 구성이 추가 또는 삭제될 수 있음은 물론이고, 일 구성의 기능을 다른 구성이 흡수하여 수행할 수도 있다.
본 발명의 일 실시 예에 따른 증강현실 구현 장치(100)는 로딩부(1), 객체 인식부(10), 속성 추출부(20), 속성 판단부(30) 및 증강부(40)를 포함한다. 이하, 객체 인식부(10)를 시작으로 본 발명의 일 실시 예에 따른 증강현실 구현 장치(100)가 포함하는 모든 구성을 설명하도록 한다.
객체 인식부(10)는 현실 세계의 객체를 인식한다.
여기서 인식은 후술할 속성 추출부(20)가 속성을 추출함에 있어서 이바지할 수 있는 정보를 인식하는 것인바, 인식은 예를 들어, 현실 세계 객체의 크기, 색상, 재질, 무게 등과 같은 속성을 나타내는 외관 및 그 밖에 해당 현실 세계 객체를 식별할 수 있는 모든 속성(예를 들면, 바코드, QR코드, 상표 등)을 인식하는 것일 수 있다. 따라서 객체 인식부(10)는 각각의 속성을 인식할 수 있는 별도의 구성을 포함할 수 있으며, 예를 들어, 현실 세계 객체의 크기를 인식해야 한다면 크기 측정 소프트웨어가 내장된 카메라, 현실 세계 객체의 색상을 인식해야 한다면 색상 구별 소프트웨어가 내장된 카메라, 현실 세계 객체의 재질을 인식해야 한다면 재질 구별 소프트웨어가 내장된 카메라, 현실 세계 객체의 무게를 인식해야 한다면 무게 측정이 가능한 저울 등을 포함할 수 있다.
그러나, 이러한 카메라나 저울 등은 현실 세계 객체의 속성을 인식하기 위한 일종의 입력 장치에 불과하며, 이를 통해 후술할 속성 추출부(20)가 속성을 추출하려면 입력 장치가 인식한 내용을 데이터로 변환해야 한다. 따라서 객체 인식부(10)는 카메라나 저울 등이 인식한 내용을 데이터로 변환하는 변환기(미도시)와 같은 구성을 추가적으로 포함할 수 있으며, 상기 언급한 입력 장치에 내장된 소프트웨어가 데이터 변환 기능을 수행할 수도 있다.
도 2에는 카메라로 구현된 객체 인식부(10)가 현실 세계 객체인 자동차를 인식하는 모습이 도시되어 있으며, 객체 인식부(10)는 자동차의 크기, 색상 등을 인식하여 데이터로 변환할 수 있을 것이다.
속성 추출부(20)는 객체 인식부(10)가 인식한 현실 세계의 객체로부터 속성을 추출한다.
보다 구체적으로, 객체 인식부(10)가 현실 세계의 객체를 인식하여 변환한 데이터로부터 현실 세계의 객체의 특징을 나타낼 수 있는 속성을 추출한다. 예를 들어, 도 2에 도시된 바와 같이 객체 인식부(10)가 현실 세계의 객체인 자동차를 인식하였다면, 속성 추출부(20)는 도 3에 도시된 바와 같이 자동차의 구체적인 크기가 어떻게 되는지, 구체적인 사이즈가 어떻게 되는지, 휠의 형상은 어떻게 되는지, 자동차 제조사 및 모델명은 어떻게 되는지 등과 같은 속성을 추출할 수 있다.
한편, 도 1에 도시된 본 발명의 일 실시 예에 따른 증강현실 구현 장치(100)는 현실 세계의 객체를 인식하는 객체 인식부(10)와 객체 인식부(10)가 인식한 현실 세계의 객체로부터 속성을 추출하는 속성 추출부(20)가 별도의 구성으로 도시되어 있고, 본 명세서 역시 이를 기초로 설명하고 있으나, 객체 인식부(10)와 속성 추출부(20)는 하나의 구성으로 구현될 수도 있다. 이 경우 예를 들어, 상기 언급한 소프트웨어가 데이터의 변환뿐만 아니라 속성을 추출하는 기능까지 모두 수행하도록 구현할 수 있을 것이다.
로딩부(1)는 하나 이상의 식별자가 선언된 증강현실 저작물을 불러오고, 속성 판단부(30)는 속성 추출부(20)가 추출한 현실 세계의 객체에 대한 속성을 증강현실 저작물에 선언된 식별자에 종속되는 기 저장된 속성 정보와 일치하는지 판단한다.
로딩부(1)는 증강현실 저작물을 외부 장치(미도시)로부터 로딩할 수 있으며 또는 증강현실 구현 장치(100)가 자체적으로 보유하고 있는 증강현실 저작물을 불러올 수도 있다. 여기서 증강현실 저작물은 그 내용을 업데이트가 가능하도록 구현할 수 있으며, 증강현실 구현 장치(100)에서 증강현실 저작물의 수정, 새로운 증강현실 저작물의 수신 등과 같은 추가적인 기능을 수행할 수 있다.
속성 판단부(30)에 대한 구체적인 설명을 하기에 앞서, 우선 증강현실 저작물에 대하여 설명이 필요하다. 이하 설명하도록 한다.
증강현실 저작물은 현실 세계 객체를 증강하는 일종의 매뉴얼(Manual)의 하나로 볼 수 있다. 예를 들어, 증강현실 저작물에는 휠이 4개라는 속성에 대한 식별자로 자동차가 선언되어 있을 수 있으며, 그에 따라 자동차에 비(Rain)가 오는 화면을 증강하도록, 즉 증강의 대상 및 방법이 기 정의되어 있을 수 있다.
한편, 식별자 자동차에는 다양한 속성이 연관되어 있을 수 있다. 예를 들어, 앞서 언급한 바와 같이 휠이 4개라는 속성뿐만 아니라, 가로, 세로 및 높이 등과 같은 크기에 대한 속성, 자동차 제조사 및 모델명에 대한 속성 등도 연관될 수 있으며, 식별자는 이러한 개별적인 속성 별로 선언되어 있다. 이하, 현실 세계 객체의 식별자 선언의 예를 들어보도록 한다.
"가구"라는 속성을 갖는 현실 세계 객체를 나타내는 식별자는 다음과 같이 선언될 수 있다.
https://d.letsee.io/properties/{가구}
"가구"라는 속성을 갖고, 무게가 100Kg인 조건을 갖는 현실 세계 객체를 나타내는 식별자는 다음과 같이 선언될 수 있다.
https://d.letsee.io/properties/{가구}filter=weight eq 100 kg
더 나아가, 증강현실 저작물은 객체의 속성 별로 선언된 식별자뿐만 아니라, 새로운 속성에 대하여 새로운 식별자를 새롭게 선언할 수도 있다.
ARML 언어 형식의 경우 다음과 같이 선언할 수 있다.
<Trackable id="test">
<config>
<tracker xlink:href="#letseeTracker" />
<src>https://d.letsee.io/properties/{가구}?filter=weight eq 100 kg</src>
</config>
</Trackable>
HTML 언어 형식의 경우 다음과 같이 선언할 수 있다.
selector {
-ar-target: object("https://d.letsee.io/properties/{가구}"?filter=weight eq 100 kg);
}
더 나아가, 증강현실 저작물은 현실 세계의 객체에 대하여 앞서 기재한 것과 같이 식별자를 정적 선언할 수 있을 뿐만 아니라, 증강현실 저작물의 비즈니스 로직에 따라 저작물이 로딩된 상태에서 식별자를 변경 또는 업데이트 할 수 있는 동적 선언까지 가능하다.
예를 들어. 다음과 같은 Javascript 언어 형식의 동적 선언이 가능하다.
var entity = letsee.getEntity("https://d.letsee.io/properties/{가구}");
var renderable = new DOMRenderable(HTMLElement);
entity.addRenderable(renderable);
앞서 설명한 증강현실 저작물 및 식별자의 선언은 하나의 예시일 뿐이며, 증강현실 저작물에 대한 모든 것은 저작권자가 자유롭게 설정하고 식별자를 선언할 수 있음은 물론이다. 이하, 속성 판단부(30)에 대한 설명으로 돌아간다.
속성 판단부(30)는 속성 추출부(20)가 추출한 현실 세계의 객체에 대한 속성이 증강현실 저작물에 선언된 식별자에 종속되는 속성 정보와 일치하는지 판단한다고 했던바, 이를 수행하는 구성으로 도 4에 도시된 바와 같이 온톨로지부(31), 식별자 관리부(32) 및 식별자 분석부(33)를 더 포함할 수 있다. 이하 자세히 설명하도록 한다.
온톨로지부(31)는 현실 세계의 객체 인식을 위한 데이터(속성 정보, 인식 정보)와 현실 세계의 객체에 대한 식별자가 상호 연결되어 데이터베이스화되어 있다.
여기서 온톨로지(Ontology)는 전산학 관련 용어로서, 특정한 영역(Domain)에 속하는 개념과 개념 사이의 관계를 기술하는 정형(Formal) 어휘의 집합으로 정의된다. 구체적으로 그래프라는 정점(Vertex)와 간선(Edge)으로 구성된 자료 구조를 이용하여 현실 세계의 객체를 이용하는바, 그래프의 정점은 현실 세계의 객체를, 이들 사이의 간선은 현실 세계 객체 간의 관계(Relationship)를 나타낸다.
온톨로지의 구성 원소는 클래스(Class), 인스턴스(Instance), 관계(Relationship) 및 속성(Property)으로 구분할 수 있는바, 클래스는 사물이나 개념 등에 부여하는 일종의 명칭을 의미한다. 예를 들어, "키보드", "모니터", "자동차", "사랑", "슬픔"등과 같은 것들은 모두 클래스로 볼 수 있다.
인스턴스는 사물이나 개념의 구체물 또는 사건 등의 실질적인 형태를 나타낸 그 자체를 의미한다. 예를 들어, "삼성 싱크마스터 와이드 엘씨디 모니터", "엘지전자 ST-500 울트라 슬림 키보드", "메르세데스 벤츠 CLS 350" 등은 일반적인 인스턴스로 볼 수 있으며, 이러한 인스턴스는 응용분야와 사용 목적에 따라서 클래스와 구별된다. 즉, 같은 표현 객체가 어떠한 경우에는 클래스가 될 수 있고, 또 다른 경우에는 인스턴스가 될 수도 있다.
속성은 클래스나 인스턴스의 특정한 성질 및 성향 등을 나타내기 위하여 이를 특정한 값(Value)과 연관시킨 것이다. 예를 들어, "삼성 싱크마스터 와이드 엘씨디 모니터는 32인치이다"라는 것을 표현하기 위해 hasSize와 같은 속성을 정의하여 연관시킬 수 있다. 일반적으로 속성을 통해 해당 현실 세계의 객체의 대부분의 특징을 파악할 수 있다.
관계는 클래스, 인스턴스 간에 존재하는 특수한 관계들을 의미하며, Taxonomic Relation과 Non-Taxonomic Relation으로 구분할 수 있다. Taxonomic Relation은 클래스, 인스턴스의 개념 분류를 위하여 보다 폭넓은 개념과 구체적인 개념들을 구분하여 계층적으로 표현하는 관계이며, 예를 들어, "사람은 동물이다"와 같은 개념간에 포함관계를 나타내기 위한 iSA를 들 수 있다. Non-Taxonomic Relation은 Taxonomic Relation이 아닌 관계를 의미하며, 예를 들어, "운동을 하면 건강해진다"라는 것을 "cause"로 표현하는 것을 들 수 있다.
온톨로지부(31)는 현실 세계의 객체 인식을 위한 데이터(인식 정보, 속성 정보), 현실 세계의 객체에 대한 식별자를 도 5에 도시된 바와 같이 데이터베이스화하여 보유한다. 도 5를 참조하면, 식별자 a에는 현실 객체 A 및 C가 관계로 연결되어 있고, 현실 객체 A는 식별자 b에도 관계로 연결되어 있다. 현실 객체 A는 인식 데이터 a 및 a'을 통해 인식되며, 식별자 b에는 현실 객체 B가 관계로 연결되어 있고, 현실 객체 B는 인식 데이터 b를 통해 인식된다. 또한, 식별자 a, b 및 c는 서로 관계로 연결되어 있다. 이를 현실 세계 객체에 대입하여 나타낸 예시는 도 6에 도시되어 있다.
식별자 관리부(32)는 온톨로지부(31)에 데이터베이스화되어 있는 현실 세계의 객체에 대한 속성 정보(인식 정보, 인식 데이터)를 증강현실 저작물에 선언되는 식별자로 매칭시킨다.
앞서 증강현실 저작물에 대한 설명에서 증강현실 저작물에는 객체의 속성 별로 식별자가 선언되어 있다고 한바, 식별자 관리부(32)가 온톨로지부(31)에 데이터베이스화되어 있는 현실 세계의 객체에 대한 속성 정보를 증강현실 저작물에 선언되는 식별자에 매칭시킴에 따라 후술할 식별자 분석부(33)가 식별자에 종속되는 속성의 범위 내에서 일치 여부를 판단할 수 있게 된다.
더 나아가, 식별자 관리부(32)는 속성 정보의 추가, 삭제 및 수정까지 가능하다. 이를 통해 증강현실 저작물에서 인식하고자 하는 현실 세계의 객체를 증강현실 저작물을 직접 수정하지 않고 온톨로지부(31)의 속성 정보를 추가, 삭제 및 수정함으로써 관리가 가능하다.
식별자 분석부(33)는 증강현실 저작물에 선언된 식별자를 분석하여 분석한 식별자에 종속되는 온톨로지부(31)에 데이터베이스화되어 있는 현실 세계의 객체의 속성 정보를 분석한다.
여기서 식별자의 분석은 증강현실 저작물에 선언된 식별자가 어떠한 현실 세계의 객체를 나타내는지, 어떠한 공통된 속성을 가지고 있는지 및 어떠한 조건을 만족하는 현실 세계의 객체를 나타내는지 등과 같이 선언의 범위를 추출하는 것으로 볼 수 있다.
식별자 분석부(33)는 예를 들어, 증강현실 저작물에 식별자가 https://d.letsee.io/properties/{가구}?filter=weight eq 100 kg 와 같이 선언되어 있는 경우, 식별자 분석부(33)는 가구라는 속성을 갖는 100kg의 현실 세계 객체가 대상이 된다는 분석이 가능하다.
한편, 도 4에 도시된 본 발명의 일 실시 예에 따른 증강현실 구현 장치(100)가 포함하는 속성 판단부(30)는 식별자 관리부(32) 및 식별자 분석부(33)가 별도의 구성으로 도시되어 있고, 본 명세서 역시 이를 기초로 설명하고 있으나, 식별자 관리부(32)와 식별자 분석부(33)는 하나의 구성으로 구현될 수도 있다. 더 나아가, 온톨로지부(31), 식별자 관리부(32) 및 식별자 분석부(33) 모두 소프트웨어로 구현되어 속성 판단부(30)에서 실행될 수도 있다.
마지막으로 증강부(40)는 속성 판단부(30)의 판단 결과에 따라 현실 세계의 객체를 증강현실 저작물에 기 정의된 방식을 통해 증강한다.
예를 들어, 앞서 인용한 예시처럼, 속성 판단부(30)가 속성 추출부(20)가 추출한 현실 세계의 객체의 속성이 식별자인 "자동차"에 종속되는 속성 정보와 일치하는 것으로 판단하였고, 증강현실 저작물에는 현실 세계의 객체에 비가 오는 화면을 증강하도록 기 정의되어 있다면, 도 7에 도시된 화면과 같이 증강할 수 있다.
한편, 증강된 화면은 증강부(40) 자체가 별도의 디스플레이 수단(미도시)를 구비하여 디스플레이할 수 있으며, 본 발명의 일 실시 예에 따른 증강현실 구현 장치(100) 외부의 디스플레이 수단으로 증강된 화면을 전송하여 디스플레이할 수도 있다. 예를 들어, 증강현실 구현 장치(100)와 별개의 스마트폰 등과 같은 사용자 단말(미도시)을 통해서 증강된 화면을 디스플레이할 수 있다.
지금까지 본 발명의 일 실시 예에 따른 증강현실 구현 장치(100)에 대하여 설명하였다. 본 발명에 따르면, 증강 현실 저작물에 식별자를 선언하여 식별자에 종속되는 속성을 갖는 복수의 현실 세계의 객체에 대해 가상 객체를 증강할 수 있으므로 현실 세계 객체 마다 식별자를 증강현실 저작물에 선언할 필요가 없어 저작자가 손쉽게 증강현실 저작물을 관리할 수 있다.
또한, 현실 세계의 객체에 대해 선언되는 식별자에 종속되는 속성 정보의 추가, 삭제 및 수정이 가능하므로, 증강현실 저작물을 직접 수정하지 않고, 증강하고자 하는 현실 세계의 객체들에 대한 정보를 손쉽게 관리할 수 있다.
한편, 본 발명은 증강현실 구현 장치(100)와 서버(미도시)에 의해 구현될 수도 있다.
이 경우 증강현실 구현 장치(100)는 장치 프로세서와 장치 메모리를 구비하며, 서버(미도시)는 서버 프로세서와 서버 메모리를 구비할 수 있다. 증강현실 구현 장치(100)의 장치 프로세서는 하나 이상의 식별자가 선언된 증강현실 저작물을 불러와 장치 메모리에 저장하는 단계, 현실 세계의 객체를 인식하는 객체 인식부에 의해 인식된 현실 세계의 객체의 속성을 추출하는 단계를 수행하여 추출한 현실 세계의 객체의 속성을 서버(미도시) 측으로 전송하도록 구성될 수 있다.
서버(미도시)의 서버프로세서는 전송 받은 현실 세계의 객체에 대한 속성을 증강현실 저작물에 선언된 상기 식별자에 종속되는 서버 메모리에 미리 저장된 속성 정보와 일치하는지 판단하는 단계를 수행하여, 판단 결과를 증강현실 구현 장치에 전송하도록 구성될 수 있다.
증강현실 구현 장치(100)의 장치 프로세서는 전송 받은 판단 결과에 따라 현실 세계의 객체에 가상 객체를 상기 증강현실 저작물에 기 정의된 방식을 통해 증강하는 단계를 수행하도록 구성될 수 있다.
또한, 상기 서버(미도시)의 서버 프로세서는 식별자에 종속되는 서버 메모리에 미리 저장된 속성 정보가 소정의 수보다 작은 경우에는 식별자에 종속되는 속성 정보를 증강현실 구현 장치에 전송하도록 구성될 수 있으며, 증강현실 구현 장치(100)는 전송 받은 식별자에 종속되는 속성 정보를 장치 메모리에 저장할 수 있으며, 이 경우 장치 프로세서는 추출된 현실 세계의 객체에 대한 속성을 장치 메모리에 기 저장된 식별자에 종속되는 속성 정보와 일치하는지 판단하는 단계를 수행하도록 구성할 수 있다. 이와 같이, 구성함으로써 증강현실 구현 시스템의 증강의 속도를 향상시킬 수 있다.
한편, 본 발명의 일 실시 예에 따른 증강현실 구현 장치(100)는 도 8에 도시된 바와 같이, 프로세서(11), 메모리(12) 및 현실 세계의 객체를 인식하는 객체 인식부(13) 및 시스템 버스(14)를 포함하는 증강현실 구현 장치(200)로 구현할 수도 있다. 이 경우 프로세서(11)는 상기 객체 인식부(13)가 인식한 현실 세계의 객체로부터 속성을 추출하는 단계, 상기 추출한 상기 현실 세계의 객체에 대한 속성을 증강현실 저작물에 선언된 상기 식별자에 종속되는 상기 메모리(12)에 미리 저장된 속성 정보와 일치하는지 판단하는 단계 및 상기 판단 결과에 따라, 상기 현실 세계의 객체에 가상 객체를 상기 증강현실 저작물에 기 정의된 방식을 통해 증강하는 단계를 수행할 수 있다.
또한, 본 발명의 일 실시 예에 따른 증강현실 구현 장치(100)는 도 9에 도시된 순서도에 따른 증강현실 구현 방법으로 구현할 수도 있다. 이 경우, 객체 인식부(10)가 현실 세계의 객체를 인식하는 단계(S910), 속성 추출부(20)가 상기 객체 인식부(10)가 인식한 현실 세계의 객체로부터 속성을 추출하는 단계(S920), 속성 판단부(30)가 상기 속성 추출부(20)가 추출한 상기 현실 세계의 객체에 대한 속성을 증강현실 저작물에 선언된 상기 식별자에 종속되는 속성 정보와 일치하는지 판단하는 단계(S930) 및 증강부(40)가 상기 속성 판단부의 판단 결과에 따라, 상기 현실 세계의 객체에 가상 객체를 상기 증강현실 저작물에 기 정의된 방식을 통해 증강하는 단계(S940)를 포함할 수 있다.
중복 서술을 방지하기 위해 자세히 설명하지는 않았지만, 본 발명의 일 실시 예에 따른 증강현실 구현 장치(100)의 모든 기술적 특징은 또 다른 실시 예에 따른 증강현실 구현 장치(200) 및 증강현실 구현 방법에 모두 적용될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100, 200: 증강현실 구현 장치
1: 로딩부
10, 13: 객체 인식부
11: 프로세서
12: 메모리
13: 시스템 버스
20: 속성 추출부
30: 속성 판단부
31: 온톨로지부
32: 식별자 관리부
33: 식별자 분석부
40: 증강부

Claims (9)

  1. 식별자가 선언된 증강현실 저작물을 불러오는 로딩부;
    현실 세계의 객체를 인식하는 객체 인식부;
    상기 객체 인식부가 인식한 현실 세계의 객체로부터 속성(Property)을 추출하는 속성 추출부;
    상기 속성 추출부가 추출한 상기 현실 세계의 객체에 대한 속성이 상기 증강현실 저작물에 선언된 상기 식별자에 종속되는 기 저장된 속성 정보와 일치하는지 판단하는 속성 판단부; 및
    상기 속성 판단부의 판단 결과에 따라, 상기 현실 세계의 객체에 가상 객체를 상기 증강현실 저작물에 기 정의된 방식을 통해 증강하는 증강부;
    를 포함하는 증강현실 장치에 있어서,
    상기 증강현실 저작물은,
    상기 로딩부에 의해 상기 증강현실 저작물이 로딩된 상태에서 상기 선언된 식별자를 업데이트하도록 구성되는 것을 특징으로 하는,
    증강현실 장치.
  2. 제1항에 있어서,
    상기 로딩부는,
    상기 증강현실 저작물을 외부 장치로부터 로딩하는,
    증강현실 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 속성 판단부는,
    상기 현실 세계의 객체의 속성 정보에 관한 데이터와 상기 현실 세계의 객체에 대한 식별자가 상호 연결되어 데이터베이스화되어 있는 온톨로지부;
    를 더 포함하는 증강현실 장치.
  5. 제4항에 있어서,
    상기 속성 판단부는,
    상기 온톨로지부에 데이터베이스화되어 있는 상기 현실 세계의 객체에 대한 속성 정보에 관한 데이터를 상기 증강현실 저작물에 선언되는 식별자와 매칭시키는 식별자 관리부;
    를 더 포함하는 증강현실 장치.
  6. 제4항에 있어서,
    상기 속성 판단부는,
    상기 증강현실 저작물에 선언된 식별자를 분석하여 상기 분석한 식별자에 종속되는 상기 온톨로지부에 데이터베이스화되어 있는 상기 현실 세계의 객체의 속성 정보의 범위를 분석하는 식별자 분석부;
    를 더 포함하는 증강현실 장치.
  7. 식별자가 선언된 증강현실 저작물을 불러오는 단계
    객체 인식부에 의해 현실 세계의 객체를 인식하는 단계;
    상기 객체 인식부가 인식한 현실 세계의 객체로부터 속성을 추출하는 단계;
    추출한 상기 현실 세계의 객체에 대한 속성을 증강현실 저작물에 선언된 상기 식별자에 종속되는 기 저장된 속정 정보와 일치하는지 판단하는 단계; 및 상기 판단 결과에 따라, 상기 현실 세계의 객체에 가상 객체를 상기 증강현실 저작물에 기 정의된 방식을 통해 증강하는 단계;
    를 포함하는 증강현실 구현 방법에 있어서,
    상기 증강현실 저작물은,
    상기 증강현실 저작물을 불러온 상태에서 상기 선언된 식별자를 업데이트하도록 구성되는 것을 특징으로 하는,
    증강현실 구현 방법.
  8. 증강현실 구현 장치에 있어서,
    상기 증강현실 구현 장치는,
    프로세서;
    메모리; 및
    현실 세계의 객체를 인식하는 객체 인식부;
    를 포함하고,
    상기 프로세서는,
    식별자가 선언된 증강현실 저작물을 불러오는 단계;
    상기 객체 인식부가 인식한 현실 세계의 객체로부터 속성을 추출하는 단계;
    상기 추출한 상기 현실 세계의 객체에 대한 속성이 증강현실 저작물에 선언된 상기 식별자에 종속되는 상기 메모리에 기 저장된 속성 정보와 일치하는지 판단하는 단계; 및
    상기 판단 결과에 따라, 상기 현실 세계의 객체에 가상 객체를 상기 증강현실 저작물에 기 정의된 방식을 통해 증강하는 단계;
    를 수행하는 증강현실 구현 장치에 있어서,
    상기 증강현실 저작물은,
    상기 증강현실 저작물을 불러온 상태에서 상기 선언된 식별자를 업데이트하도록 구성되는 것을 특징으로 하는,
    증강현실 구현 장치.
  9. 현실세계의 객체에 가상 객체를 증강하는 증강현실 구현 시스템에 있어서,
    상기 증강현실 구현 시스템은 증강현실 구현 장치와 서버로 구성되며,
    상기 증강현실 구현 장치는 장치 프로세서와 장치 메모리를 구비하며,
    상기 서버는 서버 프로세서와 서버 메모리를 구비하고,
    상기 장치 프로세서가,
    하나 이상의 식별자가 선언된 증강현실 저작물을 불러와 상기 장치 메모리에 저장하는 단계;
    현실 세계의 객체를 인식하는 객체 인식부에 의해 인식된 현실 세계의 객체의 속성을 추출하는 단계;및
    추출한 현실 세계의 객체의 속성을 서버 측으로 전송하는 단계;
    를 수행하고,
    상기 서버프로세서가;
    전송받은 현실 세계의 객체에 대한 속성을 증강현실 저작물에 선언된 상기 식별자에 종속되는 서버 메모리에 미리 저장된 속성 정보와 일치하는지 판단하는 단계; 및
    상기 판단의 결과를 증강현실 구현 장치에 전송하는 단계;
    를 수행한 후,
    상기 장치 프로세서가 전송 받은 판단 결과에 따라 현실 세계의 객체에 가상 객체를 상기 증강현실 저작물에 기 정의된 방식을 통해 증강하는 단계;
    를 수행하도록 구성되는 것을 특징으로 하는 증강현실 구현 시스템에 있어서,
    상기 증강현실 저작물은,
    상기 증강현실 저작물을 불러온 상태에서 상기 선언된 식별자를 업데이트하도록 구성되는 것을 특징으로 하는,
    증강현실 구현 시스템.
KR1020170096275A 2017-07-28 2017-07-28 증강현실 구현 장치 및 방법 KR101981325B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170096275A KR101981325B1 (ko) 2017-07-28 2017-07-28 증강현실 구현 장치 및 방법
PCT/KR2017/008235 WO2019022279A1 (ko) 2017-07-28 2017-07-31 증강현실 구현 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170096275A KR101981325B1 (ko) 2017-07-28 2017-07-28 증강현실 구현 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190012772A KR20190012772A (ko) 2019-02-11
KR101981325B1 true KR101981325B1 (ko) 2019-08-30

Family

ID=65039608

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170096275A KR101981325B1 (ko) 2017-07-28 2017-07-28 증강현실 구현 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101981325B1 (ko)
WO (1) WO2019022279A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200137523A (ko) * 2019-05-30 2020-12-09 이은령 증강현실 컨텐츠 공유 시스템 및 그 구동방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101337555B1 (ko) * 2010-09-09 2013-12-16 주식회사 팬택 객체 연관성을 이용한 증강 현실 제공 장치 및 방법
KR101357260B1 (ko) * 2010-10-22 2014-02-03 주식회사 팬택 증강 현실 사용자 인터페이스 제공 장치 및 방법
KR20130134273A (ko) * 2012-05-30 2013-12-10 주식회사 라임페이퍼 오브젝트와 연계된 가상 메뉴 제공시스템 및 방법
KR20140110584A (ko) * 2013-03-08 2014-09-17 삼성전자주식회사 증강 현실 제공 방법, 저장 매체 및 휴대 단말
US9607437B2 (en) * 2013-10-04 2017-03-28 Qualcomm Incorporated Generating augmented reality content for unknown objects
KR20160000533A (ko) * 2014-06-24 2016-01-05 (주)서버사이드 증강 현실에서 물체의 정보 제공을 위한 지역 특징점을 이용한 오브젝트 다중 검출, 추적 방법 및 그 시스템
KR102210380B1 (ko) * 2015-11-10 2021-02-01 에스케이텔레콤 주식회사 복합 컨텐츠 패키지의 생성 및 활용을 위한 장치 및 방법
KR20170005373A (ko) 2016-12-29 2017-01-12 주식회사 비즈모델라인 맞춤형 증강현실 제공 방법

Also Published As

Publication number Publication date
WO2019022279A1 (ko) 2019-01-31
KR20190012772A (ko) 2019-02-11

Similar Documents

Publication Publication Date Title
US20210303939A1 (en) Processing Image-Bearing Electronic Documents using a Multimodal Fusion Framework
CN110019616B (zh) 一种poi现势状态获取方法及其设备、存储介质、服务器
CN107798001B (zh) 网页处理方法、装置及设备
CN107229731B (zh) 用于分类数据的方法和装置
CN110781925B (zh) 软件页面的分类方法、装置、电子设备及存储介质
CN111782584A (zh) 建筑图纸预处理系统、方法、电子设备及存储介质
CN111538774A (zh) 数据存储及展示方法、系统、设备及存储介质
CN113590776A (zh) 基于知识图谱的文本处理方法、装置、电子设备及介质
CN110780965A (zh) 基于视觉的流程自动化方法、设备及可读存储介质
CN110619103A (zh) 网页图文检测方法、装置及存储介质
US20190147104A1 (en) Method and apparatus for constructing artificial intelligence application
CN110874534A (zh) 数据处理方法和数据处理装置
CN111814481A (zh) 购物意图识别方法、装置、终端设备及存储介质
JP2017116975A (ja) 問題解決支援システム
KR101981325B1 (ko) 증강현실 구현 장치 및 방법
KR101273493B1 (ko) 지식관리 시스템기반의 증강현실을 이용한 정보제공시스템 및 그 방법
CN112784189A (zh) 一种识别页面图像的方法和装置
CN108369647A (zh) 基于图像的质量控制
CN115631374A (zh) 控件操作方法、控件检测模型的训练方法、装置和设备
CN115759100A (zh) 数据处理方法、装置、设备及介质
KR20190079997A (ko) 도면 번호 인식을 통한 연결 도면 연계 시스템 및 방법
CN113326461A (zh) 跨平台内容分发方法、装置、设备以及存储介质
CN110019547B (zh) 获取客户间的关联关系的方法、装置、设备及介质
CN115774797A (zh) 视频内容检索方法、装置、设备和计算机可读存储介质
US7849086B2 (en) Document processor and computer readable medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant