KR20100124952A - 문자인식을 이용한 휴대형 단말기의 증강현실 기반 실시간 ａｒ컨텐츠 제공시스템 및 그 방법 - Google Patents

문자인식을 이용한 휴대형 단말기의 증강현실 기반 실시간 ａｒ컨텐츠 제공시스템 및 그 방법 Download PDF

Info

Publication number
KR20100124952A
KR20100124952A KR1020090043917A KR20090043917A KR20100124952A KR 20100124952 A KR20100124952 A KR 20100124952A KR 1020090043917 A KR1020090043917 A KR 1020090043917A KR 20090043917 A KR20090043917 A KR 20090043917A KR 20100124952 A KR20100124952 A KR 20100124952A
Authority
KR
South Korea
Prior art keywords
content
image
character
text
portable terminal
Prior art date
Application number
KR1020090043917A
Other languages
English (en)
Inventor
정용욱
김한철
이정선
김무항
김승경
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020090043917A priority Critical patent/KR20100124952A/ko
Publication of KR20100124952A publication Critical patent/KR20100124952A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/84—Mapping; Conversion
    • G06F16/86—Mapping to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 문자인식을 이용하여 휴대형 단말기에 증강현실을 이용한 실시간 AR컨텐츠를 제공하는 AR컨텐츠 제공시스템 및 그 방법에 관한 것이다. 본 실시간 AR컨텐츠 제공시스템은, 이미지 센서를 통해 입력된 이미지에서 정보검색을 원하는 문자가 포함된 영역이 선택되면, 문자를 인식하여 문자에 매칭되는 컨텐츠를 추출하고, 추출된 컨텐츠를 증강현실 기술로 처리한 AR컨텐츠를 생성한 다음, 이미지 센서를 통해 입력된 실시간 영상에 AR컨텐츠를 정합하여 외부로 표시하는 휴대형 단말기; 휴대형 단말기로부터 문자를 제공받아, 문자에 부합되는 컨텐츠를 검색하고, 검색된 컨텐츠를 휴대형 단말기로 제공하는 서버;를 포함한다. 이에 의해, 사용자의 직관적인 조작이 가능하여 사용자의 편의성을 증대시킬 수 있으며, 증강현실 기술을 이용하여 몰입력있는 정보를 제공하여 정보 서비스의 효율성을 향상시키고, 전자사전뿐만 아니라 다양한 정보 제공 서비스에 적용가능하도록 하는 휴대형 단말기를 포함하는 AR컨텐츠 제공시스템 및 그 제공방법
Figure P1020090043917
문자인식, 증강현실, 전자사전, 실시간, AR컨텐츠

Description

문자인식을 이용한 휴대형 단말기의 증강현실 기반 실시간 ＡＲ컨텐츠 제공시스템 및 그 방법{ＡＲ contents providing system and method providing a portable terminal real-time by using letter recognition}
본 발명은 문자인식을 이용한 휴대형 단말기의 증강현실 기반 실시간 AR컨텐츠 제공시스템 및 그 방법에 관한 것으로서, 보다 상세하게는, 사용자의 직관적인 조작이 가능하여 사용자의 편의성을 증대시킬 수 있으며, 증강현실 기술을 이용하여 몰입력있는 정보를 제공하여 정보 서비스의 효율성을 향상시키고, 전자사전뿐만 아니라 다양한 정보 제공 서비스에 적용가능하도록 하는 문자인식을 이용한 휴대형 단말기의 증강현실 기반 실시간 AR컨텐츠 제공시스템 및 그 제공방법을 제공하는 것이다.
최근 들어 휴대폰, PDA, UMPC 등의 휴대형 단말기(10)의 사용이 일반화됨에 따라, 다양한 부가 서비스 및 기능을 가진 휴대형 단말기(10)가 개발되고 있다. 예를 들어, 최신의 휴대형 단말기(10)는 전자사전, DMB, MP3, 디지털 카메라 등의 기능을 구비하고 있을 뿐만 아니라, 무선인터넷의 접속이 가능하도록 지원하여 사용자가 웹상에서 수행할 수 있는 메일 송수신이나 자료 검색 등 다양한 서비스가 가능하도록 한다. 이중, 전자사전 기능은 휴대형 단말기에 내장되어 별도의 무선인터넷 접속이 필요없는 기능으로, 디지털 카메라와 접목하여 보다 편리하게 전자사전 기능을 사용할 수 있도록 하는 다양한 특허들이 출원되어 있다.
한국공개특허 제2007-0098375호 "이미지센서와 프로젝터로 구성된 입출력 모듈과 그를 이용한 전자사전 기능을 갖는 휴대폰"에서는, 문자인식을 위한 카메라와 디스플레이를 위한 프로젝터를 휴대폰에 부가함으로써, 지시봉이 가리키는 부분을 단어로 바로 변환하고 프로젝터를 통해 보여주도록 하고 있다.
한국공개특허 제2005-106588호 "문자인식을 통한 전자사전 기능을 갖는 피엠피 및 그 제어방법"에서는 접사가 가능한 디지털 카메라가 장착된 PMP로 영상을 촬영하고 촬영된 영상에서 문자를 인식하도록 한 다음, 인식된 문자를 내장된 사전에서 검색하여 결과를 표시하도록 한다.
그런데, 이러한 선행기술에서는 키조작이나 카메라의 피사체 포커싱 등을 이용하기 때문에 이동형 단말기의 좁은 화면에서 사용자가 키조작을 하여 문자를 선택하는데 불편함이 있다. 또한, 단어의 조회결과가 별도의 팝업윈도우나 새로운 윈도우에 텍스트 형태로 표시됨으로써, 사용자의 몰입도가 떨어지고 키워드와 검색결과를 매칭하는데 불편함이 존재한다. 뿐만 아니라, 기존의 특허는 텍스트 기반의 전자사전 컨텐츠 서비스에 대한 것이 대부분이므로, 제공되는 서비스가 제한적이라는 단점이 있다.
본 발명의 목적은, 사용자의 직관적인 조작이 가능하여 사용자의 편의성을 증대시킬 수 있으며, 증강현실 기술을 이용하여 몰입력있는 정보를 제공하여 정보 서비스의 효율성을 향상시키고, 전자사전뿐만 아니라 다양한 정보 제공 서비스에 적용가능하도록 하는 문자인식을 이용한 휴대형 단말기의 증강현실 기반 실시간 AR컨텐츠 제공시스템 및 그 제공방법을 제공하는 것이다.
상기 목적은, 이미지 센서를 통해 입력된 이미지를 외부로 표시하는 디스플레이창; 상기 디스플레이창에 표시된 이미지에서 정보검색을 원하는 문자를 포함하는 영역이 선택되면, 해당 문자를 인식하는 문자인식기; 다양한 형태의 컨텐츠가 저장된 컨텐츠 저장부; 상기 문자인식기에 의해 인식된 문자를 상기 컨텐츠 저장부에 저장된 컨텐츠와 비교하여 매칭되는 컨텐츠를 추출하는 컨텐츠 추출기; 상기 컨텐츠 추출기에서 추출된 컨텐츠를 증강현실 기술로 처리하여 AR컨텐츠를 생성하는 AR컨텐츠 생성기; 상기 AR컨텐츠와 상기 이미지 센서를 통해 입력된 실시간 영상을 정합하는 AR컨텐츠-영상 정합기; 및, 상기 AR컨텐츠-영상 정합기에서 정합된 실시간 영상과 AR컨텐츠를 외부로 표시하는 영상 재생기;를 포함하는 것을 특징으로 하는 문자인식을 이용하여 실시간 AR컨텐츠를 제공하는 휴대형 단말기에 의해 달성된다.
상기 목적은, 이미지 센서를 통해 입력된 이미지에서 정보검색을 원하는 문 자가 포함된 영역이 선택되면, 상기 문자를 인식하여 상기 문자에 매칭되는 컨텐츠를 추출하고, 추출된 컨텐츠를 증강현실 기술로 처리한 AR컨텐츠를 생성한 다음, 상기 이미지 센서를 통해 입력된 실시간 영상에 상기 AR컨텐츠를 정합하여 외부로 표시하는 휴대형 단말기; 및, 상기 휴대형 단말기로부터 상기 문자를 제공받아, 상기 문자에 부합되는 컨텐츠를 검색하고, 검색된 컨텐츠를 상기 휴대형 단말기로 제공하는 서버;를 포함하는 AR컨텐츠 제공시스템에 의해서도 달성될 수 있다.
또한, 상기 목적은, 이미지 센서를 통해 입력된 이미지를 외부로 표시하는 단계; 상기 이미지에서 정보검색을 원하는 문자가 포함된 영역이 선택되면, 상기 문자를 인식하는 단계; 상기 인식된 문자에 매칭되는 컨텐츠를 추출하는 단계; 상기 추출된 컨텐츠를 증강현실 기술로 처리하여 AR컨텐츠를 생성하는 단계; 상기 AR컨텐츠와 상기 이미지 센서를 통해 입력된 실시간 영상을 정합하는 단계; 및, 상기 정합된 실시간 영상과 AR컨텐츠를 외부로 표시하는 단계;를 포함하는 것을 특징으로 하는 AR컨텐츠 제공방법에 의해서도 달성될 수 있다.
본 휴대형 단말기를 포함하는 AR컨텐츠 제공시스템 및 그 제공방법에서는, 증강현실 기술을 기반으로 사용자가 촬영한 이미지내에서 검색을 원하는 문자를 선택함으로써, 직관적인 조작이 가능하고, 보다 정확하고 몰입감있는 새로운 형태의 정보제공이 가능하여 서비스 효율성을 향상시킬 수 있다. 그리고 사용자가 컨텐츠의 제공을 원하는 문자가 포함된 영역을 손가락이나 스타일러스펜 등으로 선택하거나 자동으로 미리 설정된 영역의 이미지가 선택되므로, 기존에 사용자가 정보를 검 색하기 위해 수행하던 과정이 단축되어 사용자의 편의성을 증대시키고 정보검색에 소요되는 시간도 감소시킬 수 있다. 뿐만 아니라, 전자사전, 여행지/유적지 정보, 음식점 정보 등 다양한 서비스 분야에서 AR컨텐츠의 제공이 가능하다.
본 발명은 문자인식을 이용한 휴대형 단말기의 증강현실 기반 실시간 AR컨텐츠 제공시스템 및 그 방법에 관한 것으로서, 사용자가 휴대형 단말기로 촬영한 이미지에 포함된 문자를 인식하고, 인식된 문자에 매칭되는 AR컨텐츠를 휴대형 단말기의 디스플레이창에 표시함으로써, 사용자에게 몰입감있는 정보를 실시간으로 제공할 수 있다.
이하, 첨부도면을 참조하여 본 발명을 상세히 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 문자인식을 이용한 휴대형 단말기의 증강현실 기반 실시간 AR컨텐츠 제공시스템의 블럭구성도이다.
본 실시간 AR컨텐츠 제공시스템은, 문자를 포함하는 이미지를 촬영하고 해당 문자에 부합되는 AR컨텐츠를 제공하는 휴대형 단말기(10)와, 휴대형 단말기(10)에 해당 문자에 부합되는 AR컨텐츠가 존재하지 아니하는 경우 촬영된 문자에 대한 AR컨텐츠를 제공하는 서버(100)를 포함한다. 여기서, 촬영된 이미지는 동영상을 의미하며, 서버(100)로부터 제공된 AR컨텐츠는 동영상과 함께 휴대형 단말기(10)에 표시된다.
본 휴대형 단말기(10)는, 문자가 포함된 이미지가 촬영되면 사용자 또는 자동설정에 의해 선택된 영역의 문자를 인식하고, 인식된 문자에 해당하는 컨텐츠를 추출하여 디스플레이창(11)에 표시한다. 만약, 휴대형 단말기(10)내에 원하는 정보가 존재하지 아니하는 경우, 휴대형 단말기(10)는 인식된 문자를 서버(100)로 전달하고, 서버(100)에서 제공된 해당 문자에 대한 AR컨텐츠를 실시간 이미지와 함께 디스플레이창(11)에 표시한다. 이를 위해, 휴대형 단말기(10)는, 촬영모듈(15), 프레임 버퍼(20), 사용자 인터랙션 검출기(25), 영역자동 선택기(30), 문자인식기(35), 컨텐츠 추출기(45), 컨텐츠 저장부(50), 단말기측 통신부(70), AR컨텐츠 생성기(55), AR컨텐츠-영상 정합기(60), 영상 재생기(65), 단말기 제어부(40)를 포함한다.
본 발명의 적용이 가능한 휴대형 단말기(10)로는, 휴대폰, UMPC(Ultra Mobile PC), PDA, 디지털 카메라 등 영상 촬영 기능을 내장 또는 외장하는 소형 단말기가 바람직하나, 휴대형 단말기(10)의 종류가 이에 한정되지 아니함은 물론이다.
휴대형 단말기(10)의 촬영모듈(15)은, 촬영된 이미지의 디지털화가 가능한 이미지 센서를 포함하며, 이미지 센서로는 CMOS, CCD, NMOS 등이 사용될 수 있다. 촬영모듈(15)은 이미지 센서를 통해 얻어진 이미지를 프레임 버퍼(20)로 전달한다.
프레임 버퍼(20)는, 이미지 센서를 통해 입력된 이미지를 프레임 단위로 버퍼링한 다음 영상 재생기(65)로 전달하여 디스플레이창(11)에 디스플레이되도록 한다.
한편, 사용자가 촬영모듈(15)로 촬영하고 디스플레이창(11)에 표시된 이미지에서 검색하고자하는 터치 앤 드래그(Touch and Drag)하여 특정 부분을 선택하면, 프레임 버퍼(20)에서 처리된 이미지 프레임 중 여러 개의 이미지 프레임에 걸쳐 사용자가 선택한 부분이 계속 추출된다. 사용자 인터랙션 검출기(25)는, 반복적으로 추출되는 영역을 사용자의 선택으로 인식하고, 추출된 영역을 문자인식기(35)로 전달한다. 이렇게 사용자가 디스플레이창(11)에 표시된 문자를 선택할 수 있도록, 디스플레이창(11)은 터치스크린으로 마련되는 것이 바람직하다. 사용자는 손가락 또는 스타일러스팬 등을 이용하여 검색을 원하는 문자를 선택할 수 있다.
영역자동 선택기(30)는, 사용자가 검색하고자 하는 영역을 직접 선택하지 아니하고 검색하고자 하는 영역을 자동으로 선택하도록 설정한 경우나, 디스플레이창(11)이 터치스크린으로 마련되지 않은 경우에 작동하며, 디스플레이창(11)의 임의의 영역을 문자인식 영역으로 선택하도록 작동한다. 이때, 임의의 영역은 사용자에 의해 설정가능하며, 사용자가 설정하지 아니한 경우에는 디스플레이창(11)의 중앙영역으로 설정될 수 있다.
이러한 영역자동 선택기(30)가 작동하는 경우, 도 2A에 도시된 바와 같이, 사용자가 이를 인식할 수 있도록 영역자동 선택기(30)가 인식 영역으로 선택하는 영역에 대해 커서나 점선 박스가 표시되도록 하고, 영역자동 선택기(30)에 의해 문자가 선택되면, 도 2B에 도시된 바와 같이, 선택된 문자를 디스플레이창(11) 상에서 음영을 주거나 다른 색으로 표시되도록 한다. 여기서, 영역자동 선택기(30)에서 인식 영역을 선택할 때, 문자 사이의 자간이나 라인 사이의 행간을 고려하여 인식 영역을 선택할 수 있다. 예를 들어, 도 2A에는 "Obama h"까지 점선 박스내에 속하였으나, 도 2B에서는 "Obama"와 "h" 사이의 자간을 고려하여 "Obama"만을 선택 하였다. 한편, 점선 박스내에 두 개의 완전한 단어가 포함되는 경우, 두 단어를 모두 선택할 수도 있다.
이렇게 영역자동 선택기(30)의 사용시, 인식 영역의 선택 전에는 커서나 점선 박스 등으로 선택될 영역을 표시되도록 하면, 사용자가 휴대형 단말기(10)나 촬영모듈(15)을 조절하여 커서나 점선 박스내에 자신이 원하는 문자가 속하도록 조절할 수 있다. 또한, 영역 선택 후에는, 선택된 인식 영역이 표시되도록 함으로써, 사용자가 자신이 원하는 문자가 제대로 선택되었는지 여부를 확인할 수 있다.
문자인식기(35)는, 사용자 인터랙션 검출기(25)에서 검출된 영역 또는 영역자동 선택기(30)에서 선택된 인식 영역의 문자를 인식한다. 문자인식기(35)에서 문자를 인식하는 방법은 기존에 다양하게 개발되어 있는 여하한 방법을 사용하여도 무방하며, 본 발명은 문자인식 기술 자체에 대한 발명이 아니므로, 문자인식 방법에 대한 상세한 설명은 생략하기로 한다. 문자인식기(35)에서 문자의 인식이 완료되면, 인식된 문자는 컨텐츠 추출기(45)로 전달된다.
컨텐츠 추출기(45)는, 문자인식기(35)에서 인식된 문자를 전달받아 컨텐츠 저장부(50)에 해당 문자에 부합되는 컨텐츠가 존재하는지를 검색한다. 검색결과 해당 문자에 부합되는 컨텐츠가 존재하는 경우, 컨텐츠 추출기(45)는 해당 컨텐츠를 추출하여 AR컨텐츠 생성기(55)로 전달한다.
한편, 컨텐츠 저장부(50)에는 휴대형 단말기(10)에서 제공하는 서비스에 따라 다양한 컨텐츠가 저장될 수 있다. 예를 들어, 휴대형 단말기(10)에서 사전기능을 제공하는 경우, 컨텐츠 저장부(50)에는 전자사전, 백과사전, 인명사전 등의 사 전이 컨텐츠로서 저장될 수 있다. 그리고 휴대형 단말기(10)에서 여행지/유적지 정보를 제공하는 경우, 컨텐츠 저장부(50)에는 여행지/유적지 가이드북이나 지도 등이 컨텐츠로서 저장될 수 있으며, 여기서, 여행지/유적지 가이드북에 포함되는 정보로는 관광지/유적지의 안내문, 음식점 정보, 상점 정보, 교통안내 등을 포함할 수 있다. 여기서, 상점 정보로는 상점에서 취급하는 상품, 메뉴, 인기상품, 이벤트, 조리예 등에 대한 정보를 포함할 수 있다. 또한, 지도가 컨텐츠로서 저장되는 경우, 지도에 나타나는 빌딩의 주소, 빌딩명, 입주해 있는 회사명, 빌딩에서 개최되는 행사 정보 등을 컨텐츠로서 구비할 수 있다.
AR컨텐츠 생성기(55)는 컨텐츠 저장부(50)에서 추출된 컨텐츠를 휴대형 단말기(10)의 디스플레이창(11)에 증강현실 형태로 보여주기 위해, 컨텐츠를 증강현실 기술을 이용하여 증강현실에 부합되는 포맷으로 변환한다. 여기서, 컨텐츠를 증강현실에 부합되는 포맷으로 변환하는 기술은, 기존에 이미 개발되어 공지된 것이며, 본 발명은 증강현실에 관련된 기술을 청구하는 것이 아니므로, AR컨텐츠 생성기(55)에서 포맷을 변환하는 기술 및 과정에 대한 상세한 설명은 생략하기로 한다. 다만 그 원리를 간단히 설명하면, AR컨텐츠 생성기(55)는, 3차원 원근 투영법을 이용하여 실제 카메라가 실사 영상을 투영하는 것과 같이 컨텐츠를 랜더링하여 3차원의 AR컨텐츠를 생성한다.
AR컨텐츠-영상 정합기(60)는, 실시간으로 촬영모듈(15)을 통해 입력되는 이미지와, AR컨텐츠 생성기(55)에서 변환된 AR컨텐츠를 정합시킴으로써, 휴대형 단말기(10)의 디스플레이창(11)에 실시간 이미지와 AR컨텐츠가 함께 표시가능하도록 처 리한다. 이때, AR컨텐츠 -영상 정합기(60) 는 , 촬영모듈(15)로부터의 3차원 이미지에 3차원으로 랜더링된 AR컨텐츠를 합성하게 된다.(합성과정에 대한 설명)
영상 재생기(65)는, AR컨텐츠-영상 정합기(60)에서 AR컨텐츠가 정합된 영상을 디스플레이창(11)을 통해 표시한다. 그리고 영상 재생기(65)는 프레임 버퍼(20)에서 버퍼링된 이미지 프레임을 디스플레이창(11)을 통해 표시한다.
단말기측 통신부(70)는, 네트워크를 통해 서버(100)와 통신하며, 컨텐츠 추출기(45)에서 사용자가 선택한 문자에 대한 컨텐츠를 검색하였으나 컨텐츠 저장부(50)에 원하는 컨텐츠가 존재하지 아니하는 경우, 단말기 제어부(40)로부터의 명령에 따라 문자인식기(35)에서 인식한 문자를 서버(100)로 제공한다. 그리고 단말기측 통신부(70)는 서버(100)에서 제공된 컨텐츠를 제공받는다.
단말기 제어부(40)는, 사용자가 미리 설정된 버튼 등의 선택수단을 이용하여 문자인식을 이용한 실시간 AR컨텐츠의 제공을 선택한 경우, 촬영모듈(15)을 동작시킨다. 사용자가 이미지를 촬영하면, 사용자 인터랙션 검출기(25)를 작동시켜 사용자가 선택하는 영역을 검출하거나, 영역자동 선택기(30)를 작동시켜 미리 설정된 영역, 예를 들면 디스플레이창(11)의 중앙영역을 선택한다. 그런 다음, 단말기 제어부(40)는 문자인식기(35)를 동작시켜 사용자 인터랙션 검출기(25) 또는 영역자동 선택기(30)에서 검출 또는 선택된 영역에서 문자를 인식하도록 한다. 문자인식기(35)에서 문자인식에 실패하는 경우, 단말기 제어부(40)는 문자인식이 실패하였음을 알리는 메시지를 작성하여 디스플레이창(11)에 표시하고, 사용자가 다시 이미지를 촬영하거나 디스플레이창(11)에서 영역을 다시 선택하도록 유도한다.
한편, 단말기 제어부(40)는 인식된 문자를 컨텐츠 추출기(45)로 전달한다. 컨텐츠 추출기(45)에서 해당 문자에 대한 컨텐츠를 컨텐츠 저장부(50)에서 검색하고, 부합되는 컨텐츠를 찾아내면, 단말기 제어부(40)는 컨텐츠를 AR컨텐츠 생성기(55)로 전달하여 AR컨텐츠로 변환되도록 한다. 그리고 단말기 제어부(40)는 AR컨텐츠를 AR컨텐츠-영상 정합기(60)로 전달하여 AR컨텐츠가 실시간으로 촬영된 영상과 정합되도록 한 다음, 영상 재생기(65)로 전달하여 실시간으로 촬영된 영상과 이에 정합된 AR컨텐츠가 디스플레이창(11)에 표시되도록 한다.
또한, 단말기 제어부(40)는, 사용자가 선택한 문자에 매칭되는 컨텐츠가 컨텐츠 저장부(50)에 존재하지 아니하는 경우, 단말기측 통신부(70)를 동작시켜 인식된 문자를 서버(100)로 전송한다. 그리고 서버(100)에서 해당 문자에 대한 컨텐츠를 제공하면, 단말기 제어부(40)는 AR컨텐츠 생성기(55)로 컨텐츠를 전달하여 AR컨텐츠로 변환시키는 과정을 거치도록 한 다음, AR컨텐츠를 AR컨텐츠-영상 정합기(60)로 전달하여 실시간 영상과 정합되도록 한다. 그런 다음, 단말기 제어부(40)는 영상 재생기(65)를 동작시켜 AR컨텐츠가 정합된 실시간 영상이 디스플레이창(11)에 표시되도록 한다.
한편, 본 서버(100)는, 휴대형 단말기(10)로부터 제공된 문자에 부합되는 컨텐츠를 추출하고, 추출된 컨텐츠를 휴대형 단말기(10)로 제공한다. 이를 위해, 서버(100)는, 서버측 통신부(110), 컨텐츠 검색기(130), 컨텐츠DB(140), 서버 제어부(120)를 포함한다.
서버측 통신부(110)는, 네트워크를 통해 휴대형 단말기(10)의 단말기측 통신 부(70)와 통신하며, 단말기측 통신부(70)를 통해 전송된 문자를 제공받고, 서버(100)측에서 추출된 컨텐츠를 단말기측 통신부(70)로 전송한다.
컨텐츠 검색기(130)는 컨텐츠DB(140)에 저장된 컨텐츠와 사용자로부터 제공된 문자를 비교하여 컨텐츠DB(140)로부터 문자에 매칭되는 컨텐츠를 추출한다.
컨텐츠DB(140)는 휴대형 단말기(10)에 마련된 컨텐츠 저장부(50)와 마찬가지로, 다양한 컨텐츠가 서비스 영역별로 저장되어 있다. 컨텐츠의 내용은 컨텐츠 저장부(50)에 대해 설명한 것과 일맥상통하므로, 상세한 내용은 생략하기로 한다.
서버 제어부(120)는, 서버측 통신부(110)를 통해 휴대형 단말기(10)로부터 컨텐츠를 원하는 문자를 제공받으면, 해당 문자를 컨텐츠 검색기(130)로 전달하여 문자에 부합되는 컨텐츠가 추출되도록 한다. 컨텐츠가 추출되면, 서버 제어부(120)는 해당 컨텐츠를 서버측 통신부(110)을 통해 휴대형 단말기(10)로 전송한다. 이때, 만약 검색된 컨텐츠가 컨텐츠DB(140)에 패키지 형태로 저장된 경우, 예를 들어, 전자사전, 백과사전, 인명사전 등의 경우, 서버 제어부(120)은 검색된 단어에 대한 컨텐츠 뿐만 아니라, 패키지 모듈 자체를 휴대형 단말기(10)로 전송한다. 이에 따라, 휴대형 단말기(10)에 전자사전, 백과사전, 인명사전 등의 패키지가 다운로드되어 저장되므로, 추후 해당 서비스에 관련된 문자의 검색시, 서버(100)에 접속할 필요가 없게 된다.
이러한 구성에 의한 문자인식을 이용한 휴대형 단말기(10)의 증강현실 기반 실시간 AR컨텐츠 제공시스템에서 실시간으로 AR컨텐츠를 제공하는 과정을 도 3을 참조하여 살펴보면 다음과 같다.
먼저, 사용자가 미리 설정된 선택버튼 등을 이용하여 문자인식을 이용한 증강현실 기반 실시간 정보제공을 선택하면, 단말기 제어부(40)는 촬영모듈(15)을 동작시켜 이미지를 촬영하도록 하고(S300), 프레임 버퍼(20)는 이미지를 버퍼링하고, 이미지 프레임은 영상 재생기(65)로 전달된다. 영상 재생기(65)에서는 사용자가 촬영한 이미지를 디스플레이창(11)에 표시한다(S305). 이 상태에서 사용자가 손가락이나 스타일러스펜 등으로 디스플레이창(11)을 터치하여 검색을 원하는 문자를 포함하는 특정 영역을 선택하면(S310-Y), 사용자 인터랙션 검출기(25)는 사용자가 선택한 특정 영역을 검출하고, 검출된 특정 영역은 문자인식기(35)로 전달된다(S320).
반면, 사용자가 손가락이나 스타일러스펜 등으로 특정 영역을 선택하지 아니하거나, 사용자가 문자 자동 선택기능을 설정한 경우, 영역자동 선택기(30)가 동작하여 디스플레이창(11)에 표시된 화면에서 미리 설정된 임의의 영역을 선택한다(S315).
사용자 또는 영역자동 선택기(30)에 의해 선택된 영역은 문자인식기(35)로 전달되고, 문자인식기(35)에서는 해당 영역내의 문자를 인식한다. 이때, 문자인식에 실패하면, 단말기 제어부(40)는 문자인식에 실패하였다는 메시지를 디스플레이창(11)을 통해 표시하고, 사용자에게 다시 영역을 선택하거나 이미지를 다시 촬영하도록 유도한다(S325-N).
한편, 문자인식에 성공하면(S325-Y), 단말기 제어부(40)는 인식된 문자를 컨텐츠 추출기(45)로 전달한다(S330). 컨텐츠 추출기(45)에서는 컨텐츠 저장부(50) 에 저장된 컨텐츠와 인식된 문자를 비교하여 부합되는 컨텐츠가 존재하면 해당 컨텐츠를 컨텐츠 저장부(50)로부터 추출한다(S335-Y). 만약, 부합되는 컨텐츠가 존재하지 아니하면(S335-N), 단말기 제어부(40)는 인식된 문자를 서버(100)로 전송하여 컨텐츠를 요청한다(S340). 서버(100)에서는 컨텐츠 검색기(130)에 문자를 제공하여 컨텐츠를 검색하도록 하고, 컨텐츠DB(140)에 부합되는 컨텐츠가 존재하면, 해당 문자에 대한 컨텐츠를 추출한다(S35-Y). 그리고 서버 제어부(120)는 추출된 컨텐츠를 휴대형 단말기(10)로 전송한다. 만약, 컨텐츠가 존재하지 아니하는 경우, 컨텐츠가 존재하지 않는다는 메시지를 휴대형 단말기(10)에 전송한다.
단말기 제어부(40)는, 휴대형 단말기(10)내의 컨텐츠 저장부(50) 또는 서버(100)의 컨텐츠DB(140)에 저장된 컨텐츠가 추출되면, 해당 컨텐츠를 AR컨텐츠 생성기(55)로 제공하여 컨텐츠를 3차원의 AR컨텐츠로 변환시킨다(S350). 그런 다음, AR컨텐츠를 AR컨텐츠-영상 정합기(60)로 전달하여 촬영모듈(15)을 통해 입력된 실시간 영상에 AR컨텐츠를 정합시키도록 하고(S355), AR컨텐츠가 정합된 실시간 영상을 영상 재생기(65)로 전달하여 디스플레이창(11)에 표시되도록 한다(S360).
도 4는 본 발명의 휴대형 단말기를 이용하여 사전을 검색하는 과정을 보인 휴대형 단말기의 작동상태도이다.
사용자가 영자신문 등에서 단어를 찾고자 하는 경우, 도 4a에 도시된 바와 같이, 휴대형 단말기(10)의 촬영모듈(15)을 작동시켜 디스플레이창(11)에 영자신문의 일부분이 표시되도록 한다. 그런 다음, 도 4b에 도시된 바와 같이, 검색을 원하는 단어인 "Obama"를 손가락으로 선택하면, 도 4c에 도시된 바와 같이, "Obama" 에 대한 정보가 오바마의 사진과 함께 AR컨텐츠로 디스플레이창(11)에 표시된다.
도 5는 본 발명의 휴대형 단말기를 이용하여 여행지/유적지 정보를 검색하는 과정을 보인 휴대형 단말기의 작동상태도이다.
사용자가 운전 중, 표지판을 보고 표지판에 표기된 여행지에 대한 정보를 알고자하는 경우, 사용자는 휴대형 단말기(10)의 촬영모듈(15)을 작동시켜, 도 5a에 도시된 바와 같이, 디스플레이창(11)에 표지판이 표시되도록 한다. 그런 다음, 도 5b에 도시된 바와 같이, 검색을 원하는 여행지/유적지 이름인 "화천"을 선택하면, 도 5c에 도시된 바와 같이, "화천"에 대한 정보가 AR컨텐츠로 변환되어 디스플레이창(11)에 표시된다.
도 6은 본 발명의 휴대형 단말기를 이용하여 음식점 정보를 검색하는 과정을 보인 휴대형 단말기의 작동상태도이다.
사용자가 음식점의 메뉴를 알고자 하거나, 음식점 메뉴 중 조리방법을 알고자 하는 경우, 사용자는 촬영모듈(15)을 작동시켜 음식점 상호나 음식점 메뉴를 촬영하여 도 6a에 도시된 바와 같이 디스플레이창(11)에 표시되도록 한다. 그런 다음, 도 6b에 도시된 바와 같이 손가락으로 메뉴를 선택하면, 도 6c와 같이, 해당 메뉴에 대한 조리방법이 조리된 화면과 함께 AR컨텐츠로 변환되어 표시된다.
한편, 상술한 실시예의 AR컨텐츠 제공시스템은 서버(100)를 구비하고 있으나, 휴대형 단말기(10)만으로 구성될 수도 있음은 물론이다. 다른 한편으로는, AR컨텐츠 제공시스템이 휴대형 단말기(10)와 서버(100)로 구성되는 실시예에서, AR컨텐츠 생성기((55), 컨텐츠 추출기(45), 컨텐츠 저장부(50)를 휴대형 단말기(10)가 아닌 서버(100)에서 구비하도록 구성할 수도 있음은 물론이다.
이와 같이, 본 휴대형 단말기(10)에 대한 실시간 AR컨텐츠 제공시스템은, 증강현실 기술을 기반으로 사용자가 촬영한 이미지내에서 검색을 원하는 문자를 선택함으로써, 보다 정확하고 새로운 형태로 정보의 제공이 가능하다. 그리고 사용자가 선택한 문자에 매칭되어 추출된 컨텐츠를 증강현실 기술을 이용하여 AR컨텐츠로 변환하여 제공함으로써, 사용자에게 몰입감 있는 정보를 제공할 수 있어 서비스 효율을 향상시킬 수 있다. 게다가 본 AR컨텐츠 제공시스템에서는 사용자가 촬영한 이미지내의 문자를 검색 대상으로 하기 때문에, 기존의 AR컨텐츠 서비스에서 별도의 키워드 역할을 위해 제작되던 마커를 제작할 필요가 없으므로, 기존의 증강현실 기술을 생활에 쉽게 적용할 수 있다. 또한, 여러 개의 컨텐츠가 제공되는 경우, 컨텐츠들 간의 관계를 시각화하여 구성할 수 있게 함으로써, 가독성 및 컨텐츠의 이해 효과가 향상되고 정보의 시각화가 가능하다. 이러한 컨텐츠는 단순한 텍스트 형태가 아니라 몰입도 높은 멀티미디어로 생성될 수 있으며, 이에 따라, 정보 제공 효과를 향상시킬 수 있다. 한편, 이렇게 정보 전달을 통한 서비스 이외에도, 증강현실 컨텐츠를 제작 및 유통시키는 증강현실 컨텐츠 마켓플레이스 서비스도 가능함은 물론이다.
이러한 실시간 AR컨텐츠 제공시스템은, 촬영모듈(15)로 검색하고자 하는 문자를 촬영하고, 사용자가 해당 문자를 손가락이나 스타일러스펜 등으로 선택하면, 자동으로 문자가 인식되고, 해당 문자에 부합되는 컨텐츠를 추출한다. 이러한 방법 이외에, 미리 설정된 지정된 영역에서 이미지를 추출하고, 이미지내의 문자를 인식하는 방법도 사용한다. 따라서, 기존에 사용자가 임의의 정보를 검색하기 위해 수행하던 과정, 예를 들면, 단어를 일일이 입력하고 검색버튼을 누르는 과정 등을 제거함으로써, 사용자의 편의성을 증대시킬 수 있으며, 정보검색에 소요되는 시간도 감소시킬 수 있다. 한편, 기존의 전자사전, 백과사전과 같은 교육 분야뿐만 아니라, 여행지/유적지 정보나 박물관 정보와 같은 관광 분야, 음식점 정보나 네비게이션과 같은 실생활 분야 등 다양한 서비스 분야에서 AR컨텐츠가 제공되도록 적용할 수 있다. 또한, 기업에서는 명함에 인쇄된 문자정보의 인식시, 해당 기업에 대한 정보가 제공되도록 함으로써, 기업의 홍보도구로 사용할 수도 있다.
도 1은 본 발명의 일 실시예에 따른 문자인식을 이용한 휴대형 단말기의 증강현실 기반 실시간 AR컨텐츠 제공시스템의 블럭구성도,
도 2A 및 도 2B는 도 1의 영역자동 선택기에 의해 문자가 선택되는 과정을 보인 화면도,
도 3은 도 1의 AR컨텐츠 제공시스템에서 휴대형 단말기에 실시간 AR컨텐츠를 제공하는 과정을 나타낸 흐름도,
도 4는 본 발명의 휴대형 단말기를 이용하여 사전을 검색하는 과정을 보인 휴대형 단말기의 작동상태도,
도 5는 본 발명의 휴대형 단말기를 이용하여 여행지/유적지 정보를 검색하는 과정을 보인 휴대형 단말기의 작동상태도,
도 6은 본 발명의 휴대형 단말기를 이용하여 음식점 정보를 검색하는 과정을 보인 휴대형 단말기의 작동상태도이다.
* 도면의 부호에 대한 간단한 설명 *
10 : 휴대형 단말기 25 : 사용자 인터랙션 검출기
30 : 영역자동 선택기 35 : 문자인식기
45 : 컨텐츠 추출기 55 : AR컨텐츠 생성기
60 : AR컨텐츠-영상 정합기 65 : 영상 재생기
100 : 서버

Claims (13)

  1. 이미지 센서를 통해 입력된 이미지를 외부로 표시하는 디스플레이창;
    상기 디스플레이창에 표시된 이미지에서 정보검색을 원하는 문자를 포함하는 영역이 선택되면, 해당 문자를 인식하는 문자인식기;
    다양한 형태의 컨텐츠가 저장된 컨텐츠 저장부;
    상기 문자인식기에 의해 인식된 문자를 상기 컨텐츠 저장부에 저장된 컨텐츠와 비교하여 매칭되는 컨텐츠를 추출하는 컨텐츠 추출기;
    상기 컨텐츠 추출기에서 추출된 컨텐츠를 증강현실 기술로 처리하여 AR컨텐츠를 생성하는 AR컨텐츠 생성기;
    상기 AR컨텐츠와 상기 이미지 센서를 통해 입력된 실시간 영상을 정합하는 AR컨텐츠-영상 정합기; 및,
    상기 AR컨텐츠-영상 정합기에서 정합된 실시간 영상과 AR컨텐츠를 외부로 표시하는 영상 재생기;를 포함하는 것을 특징으로 하는 문자인식을 이용하여 실시간 AR컨텐츠를 제공하는 휴대형 단말기.
  2. 제 1 항에 있어서,
    상기 디스플레이창은 터치스크린으로 제작되며;
    사용자가 상기 디스플레이창을 터치 앤 드래그하여 선택한 영역을 검출하는 사용자 인터랙션 검출기를 더 포함하는 것을 특징으로 하는 문자인식을 이용하여 실시간 AR컨텐츠를 제공하는 휴대형 단말기.
  3. 제 1 항에 있어서,
    상기 디스플레이창에 이미지가 표시되면, 미리 설정된 특정 영역을 인식 영역으로 선택하여 상기 문자인식기로 제공하는 영역자동 선택기를 더 포함하는 것을 특징으로 하는 문자인식을 이용하여 실시간 AR컨텐츠를 제공하는 휴대형 단말기.
  4. 제 1 항에 있어서,
    상기 컨텐츠 저장부에 부합되는 컨텐츠가 존재하지 않는 경우, 네트워크를 통해 외부의 서버로 상기 문자인식기에서 인식된 문자에 부합되는 컨텐츠를 요청하는 단말기 제어부를 더 포함하는 것을 특징으로 하는 문자인식을 이용하여 실시간 AR컨텐츠를 제공하는 휴대형 단말기.
  5. 이미지 센서를 통해 입력된 이미지에서 정보검색을 원하는 문자가 포함된 영역이 선택되면, 상기 문자를 인식하여 상기 문자에 매칭되는 컨텐츠를 추출하고, 추출된 컨텐츠를 증강현실 기술로 처리한 AR컨텐츠를 생성한 다음, 상기 이미지 센서를 통해 입력된 실시간 영상에 상기 AR컨텐츠를 정합하여 외부로 표시하는 휴대형 단말기; 및,
    상기 휴대형 단말기로부터 상기 문자를 제공받아, 상기 문자에 부합되는 컨텐츠를 검색하고, 검색된 컨텐츠를 상기 휴대형 단말기로 제공하는 서버;를 포함하 는 AR컨텐츠 제공시스템.
  6. 제 5 항에 있어서,
    상기 휴대형 단말기는,
    이미지 센서를 통해 입력된 이미지를 외부로 표시하는 디스플레이창;
    상기 디스플레이창에 표시된 이미지에서 정보검색을 원하는 문자가 포함되는 영역이 선택되면, 상기 문자를 인식하는 문자인식기;
    다양한 형태의 컨텐츠가 저장된 컨텐츠 저장부;
    상기 문자인식기에 의해 인식된 문자를 상기 컨텐츠 저장부에 저장된 컨텐츠와 비교하여 매칭되는 컨텐츠를 추출하는 컨텐츠 추출기;
    상기 컨텐츠 추출기에서 추출된 컨텐츠를 증강현실 기술로 처리하여 AR컨텐츠를 생성하는 AR컨텐츠 생성기;
    상기 AR컨텐츠와 상기 이미지 센서를 통해 입력된 실시간 영상을 정합하는 AR컨텐츠-영상 정합기; 및,
    상기 AR컨텐츠-영상 정합기에서 정합된 실시간 영상과 AR컨텐츠를 외부로 표시하는 영상 재생기를 포함하는 것을 특징으로 하는 AR컨텐츠 제공시스템.
  7. 제 6 항에 있어서,
    상기 휴대형 단말기의 디스플레이창은 터치스크린으로 제작되며;
    사용자가 상기 디스플레이창을 터치 앤 드래그하여 선택한 영역을 추출하는 사용자 인터랙션 검출기를 더 포함하는 것을 특징으로 하는 AR컨텐츠 제공시스템.
  8. 제 6 항에 있어서,
    상기 디스플레이창에 이미지가 표시되면, 미리 설정된 특정 영역을 인식 영역으로 선택하여 상기 문자인식기로 제공하는 영역자동 선택기를 더 포함하는 것을 특징으로 하는 AR컨텐츠 제공시스템.
  9. 제 5 항에 있어서,
    상기 서버는,
    문자로 검색되는 다양한 컨텐츠가 저장된 컨텐츠DB와,
    상기 휴대형 단말기로부터의 문자를 상기 컨텐츠DB에 저장된 컨텐츠와 비교하여 매칭되는 컨텐츠를 추출하는 컨텐츠 검색기를 포함하는 것을 특징으로 하는 AR컨텐츠 제공시스템.
  10. 이미지 센서를 통해 입력된 이미지를 외부로 표시하는 단계;
    상기 이미지에서 정보검색을 원하는 문자가 포함된 영역이 선택되면, 상기 문자를 인식하는 단계;
    상기 인식된 문자에 매칭되는 컨텐츠를 추출하는 단계;
    상기 추출된 컨텐츠를 증강현실 기술로 처리하여 AR컨텐츠를 생성하는 단계;
    상기 AR컨텐츠와 상기 이미지 센서를 통해 입력된 실시간 영상을 정합하는 단계; 및,
    상기 정합된 실시간 영상과 AR컨텐츠를 외부로 표시하는 단계;를 포함하는 것을 특징으로 하는 AR컨텐츠 제공방법.
  11. 제 10 항에 있어서,
    상기 이미지에서 정보검색을 원하는 문자가 선택되는 단계는, 터치스크린을 사용자가 터치하여 선택한 영역을 추출하는 단계인 것을 특징으로 하는 AR컨텐츠 제공방법,
  12. 제 10 항에 있어서,
    상기 이미지에서 정보검색을 원하는 문자가 선택되는 단계는, 외부로 이미지가 표시되면, 미리 설정된 특정 영역을 인지 영역으로 선택하여 추출하는 단계인 것을 특징으로 하는 AR컨텐츠 제공방법.
  13. 제 10 항에 있어서,
    상기 컨텐츠를 추출하는 단계에서 상기 문자에 부합되는 컨텐츠가 존재하지 않는 경우, 네트워크를 통해 외부의 서버로 상기 문자에 부합되는 컨텐츠를 요청하는 단계를 더 포함하는 것을 특징으로 하는 AR컨텐츠 제공방법.
KR1020090043917A 2009-05-20 2009-05-20 문자인식을 이용한 휴대형 단말기의 증강현실 기반 실시간 ａｒ컨텐츠 제공시스템 및 그 방법 KR20100124952A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090043917A KR20100124952A (ko) 2009-05-20 2009-05-20 문자인식을 이용한 휴대형 단말기의 증강현실 기반 실시간 ａｒ컨텐츠 제공시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090043917A KR20100124952A (ko) 2009-05-20 2009-05-20 문자인식을 이용한 휴대형 단말기의 증강현실 기반 실시간 ａｒ컨텐츠 제공시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20100124952A true KR20100124952A (ko) 2010-11-30

Family

ID=43408932

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090043917A KR20100124952A (ko) 2009-05-20 2009-05-20 문자인식을 이용한 휴대형 단말기의 증강현실 기반 실시간 ａｒ컨텐츠 제공시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20100124952A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011122717A1 (ko) * 2010-03-30 2011-10-06 Hyun Min-Ho 휴대 단말기를 이용한 문자 관련 정보 제공 방법 및 휴대 단말기
KR20150027438A (ko) * 2013-09-03 2015-03-12 삼성전자주식회사 모바일 쿠폰 제공 방법 및 이를 지원하는 휴대형 전자장치
KR20210017471A (ko) * 2019-08-08 2021-02-17 주식회사 비앤티소프트 대상체에 따른 증강 현실 콘텐츠 제공 시스템 및 그 방법
CN114022881A (zh) * 2021-10-24 2022-02-08 何雨萌 一种ai+ar物品清点系统及物品清点方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011122717A1 (ko) * 2010-03-30 2011-10-06 Hyun Min-Ho 휴대 단말기를 이용한 문자 관련 정보 제공 방법 및 휴대 단말기
KR20150027438A (ko) * 2013-09-03 2015-03-12 삼성전자주식회사 모바일 쿠폰 제공 방법 및 이를 지원하는 휴대형 전자장치
US10630406B2 (en) 2013-09-03 2020-04-21 Samsung Electronics Co., Ltd. Method for providing mobile coupon and mobile electronic device supporting the same
KR20210017471A (ko) * 2019-08-08 2021-02-17 주식회사 비앤티소프트 대상체에 따른 증강 현실 콘텐츠 제공 시스템 및 그 방법
CN114022881A (zh) * 2021-10-24 2022-02-08 何雨萌 一种ai+ar物品清点系统及物品清点方法

Similar Documents

Publication Publication Date Title
US11714523B2 (en) Digital image tagging apparatuses, systems, and methods
US8880338B2 (en) Portable electronic device, and method for operating portable electronic device
US20160344860A1 (en) Document and image processing
US11158057B2 (en) Device, method, and graphical user interface for processing document
CN109189879B (zh) 电子书籍显示方法及装置
US20140111542A1 (en) Platform for recognising text using mobile devices with a built-in device video camera and automatically retrieving associated content based on the recognised text
JP2017187850A (ja) 画像処理システム、情報処理装置、プログラム
CN109040960A (zh) 一种实现位置服务的方法和装置
KR20140030361A (ko) 휴대단말기의 문자 인식장치 및 방법
KR20140038355A (ko) 뷰이미지의 적어도 하나의 피처에 주석을 달기 위한 컴퓨터화 방법 및 장치
KR20150025452A (ko) 데이터 처리 방법 및 그 전자 장치
JP2000209324A (ja) 宛先発信制御システムおよび宛先発信制御方法
CN113191117B (zh) 电子文档的编辑方法、装置、设备及存储介质
KR20060083102A (ko) 위치정보를 가지는 이미지파일 관리시스템 및 그 방법,휴대용 단말기
US10360455B2 (en) Grouping captured images based on features of the images
WO2010113457A1 (ja) 通信端末装置及びこれを用いた通信システム
US8612896B2 (en) Mobile terminal, data control program, and data control method
WO2024088291A1 (zh) 表单填充方法、装置、电子设备及介质
JP2018097580A (ja) 情報処理装置およびプログラム
JP2009075977A (ja) 携帯端末閲覧文書配信サーバ、携帯端末、及び携帯端末閲覧文書配信システム
KR20100124952A (ko) 문자인식을 이용한 휴대형 단말기의 증강현실 기반 실시간 ａｒ컨텐츠 제공시스템 및 그 방법
WO2013114988A1 (ja) 情報表示装置、情報表示システム、情報表示方法およびプログラム
JP2003319033A (ja) 携帯通信端末情報入力システム、携帯通信端末、携帯通信端末用プログラム、解析サーバ、及び、携帯通信端末情報入力方法
JP2004038840A (ja) メモ画像管理装置、メモ画像管理システムおよびメモ画像管理方法
KR20150097250A (ko) 태그 정보를 이용한 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application