KR20110097305A - 증강 현실을 이용한 사용자 설명서 제공 시스템 및 방법 - Google Patents

증강 현실을 이용한 사용자 설명서 제공 시스템 및 방법 Download PDF

Info

Publication number
KR20110097305A
KR20110097305A KR1020100017084A KR20100017084A KR20110097305A KR 20110097305 A KR20110097305 A KR 20110097305A KR 1020100017084 A KR1020100017084 A KR 1020100017084A KR 20100017084 A KR20100017084 A KR 20100017084A KR 20110097305 A KR20110097305 A KR 20110097305A
Authority
KR
South Korea
Prior art keywords
manual
module
contextual
product
terminal
Prior art date
Application number
KR1020100017084A
Other languages
English (en)
Other versions
KR101180278B1 (ko
Inventor
김신덕
홍충표
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020100017084A priority Critical patent/KR101180278B1/ko
Priority to PCT/KR2010/006084 priority patent/WO2011105671A1/ko
Publication of KR20110097305A publication Critical patent/KR20110097305A/ko
Application granted granted Critical
Publication of KR101180278B1 publication Critical patent/KR101180278B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00236—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server using an image reading or reproducing device, e.g. a facsimile reader or printer, as a local input to or local output from a computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 사용자 설명서 제공 시스템 및 방법에 관한 것으로, 구체적으로는, 증강 현실을 이용한 사용자 설명서 제공 시스템 및 방법에 관한 것이다.
본 발명에 따른 사용자 설명서 제공 시스템은 카메라를 이용하여 제품 식별 정보를 얻고, 증강 현실 기법으로 사용자에게 설명서를 제공하는 카메라 내장 단말기; 및 상기 제품 식별 정보에 대응하는 제품의 설명서를 무선 통신망을 통해 상기 카메라 내장 단말기로 전송하는 설명서 제공 서버를 포함한다.
본 발명에 따르면 사용자는 정확하고 신속하게 사용 설명서 정보를 얻을 수 있다. 또한, 본 발명에 따르면 사용자는 편리하게 사용 설명서 정보를 활용할 수 있다. 따라서, 업무 능률이 향상될 수 있다.

Description

증강 현실을 이용한 사용자 설명서 제공 시스템 및 방법{USER MANUAL PROVIDING SYSTEM AND METHOD USING AUGMENTED REALITY}
본 발명은 사용자 설명서 제공 시스템 및 방법에 관한 것으로, 구체적으로는, 증강 현실을 이용한 사용자 설명서 제공 시스템 및 방법에 관한 것이다.
최근에 컴퓨터 비젼(vision) 및 그래픽스(graphics) 기술의 결합을 통해 증강 현실(Augmented reality) 기술이 등장하였다. 증강 현실이라 함은 현실 세계에 존재하는 물체에 가상 물체를 겹쳐 보여주는 기술을 말한다. 즉, 증강 현실은 사용자가 눈으로 보는 현실 세계와 부가 정보를 갖는 가상 세계를 합쳐 하나의 영상으로 보여준다.
증강 현실은 컴퓨터 그래픽을 이용하여 구현된다. 컴퓨터 그래픽은 현실 환경에 필요한 정보를 추가로 제공하는 역할을 한다. 컴퓨터 그래픽을 이용하여 사용자가 보고 있는 실사 영상에 3차원 가상 영상을 겹침(overlap)으로써 추가 정보가 제공될 수 있다.
가상 현실 기술은 가상 환경에 사용자를 몰입하게 하여 실제 환경을 볼 수 없다는 단점이 있다. 반면에, 증강 현실 기술은 사용자가 실제 환경을 볼 수 있기 때문에 보다 나은 현실감을 제공한다.
본 발명의 목적은 증강 현실을 이용하여 사용자에게 정확하고 신속하게 설명서를 제공할 수 있는 사용자 설명서 제공 시스템 및 방법을 제공하는 데 있다. 본 발명의 다른 목적은 증강 현실을 이용하여 사용자가 용이하게 설명서를 활용할 수 있는 사용자 설명서 제공 시스템 및 방법을 제공하는 데 있다.
본 발명에 따른 사용자 설명서 제공 시스템은 카메라를 이용하여 제품 식별 정보를 얻고, 증강 현실 기법으로 사용자에게 설명서를 제공하는 카메라 내장 단말기; 및 상기 제품 식별 정보에 대응하는 제품의 설명서를 무선 통신망을 통해 상기 카메라 내장 단말기로 전송하는 설명서 제공 서버를 포함한다.
실시 예로서, 상기 카메라 내장 단말기는 제품 영상을 획득하기 위한 영상 입력 모듈; 상기 제품 영상을 참조하여 3차원 윤곽을 생성하는 제품 윤곽 검출 모듈; 및 RFID 태그 정보 또는 제품 코드를 입력받기 위한 제품 식별 정보 생성 모듈; 상기 제품 윤곽 검출 모듈 또는 상기 제품 식별 정보 생성 모듈의 출력을 상기 설명서 제공 서버로 전송하기 위한 제품 식별 정보 송신 모듈을 포함한다.
다른 실시 예로서, 상기 카메라 내장 단말기는 사용자의 선택에 따라 상황별 설명서를 상기 설명서 제공 서버에 요청하기 위한 상황별 설명서 요청 모듈; 상기 설명서 제공 서버로부터 상기 상황별 설명서를 수신하기 위한 상황별 설명서 수신 모듈; 상기 수신된 상황별 설명서를 저장하기 위한 설명서 데이터베이스를 포함한다.
다른 실시 예로서, 상기 카메라 내장 단말기는 상기 설명서 제공 서버로부터 수신된 상황별 설명서를 해석하기 위한 상황별 설명서 해석 모듈; 상기 상황별 설명서 해석 모듈의 출력에 응답하여 사용자에게 증강 현실 영상 신호를 제공하기 위한 증강 현실 합성 모듈; 상기 상황별 설명서 해석 모듈의 출력에 응답하여 사용자에게 음성 신호를 제공하기 위한 음성 정보 제공 모듈을 포함한다. 상기 카메라 내장 단말기는 촬영자의 위치 정보를 검출하기 위한 방위각 생성 모듈을 더 포함하고, 상기 증강 현실 합성 모듈은 상기 상황별 설명서 해석 모듈의 출력과 상기 촬영자의 위치 정보를 참조하여 사용자에게 증강 현실 영상 신호를 제공한다. 상기 음성 정보 제공 모듈은 상기 상황별 설명서 해석 모듈의 출력과 상기 촬영자의 위치 정보를 참조하여 사용자에게 음성 신호를 제공한다.
다른 실시 예로서, 상기 설명서 제공 서버는 상기 카메라 내장 단말기로부터 상기 무선 통신망을 통해 상기 제품 식별 정보를 수신하기 위한 제품 식별 정보 수신 모듈; 제품 윤곽 데이터베이스 또는 RFID/제품코드 데이터베이스를 검색하여 상기 제품 식별 정보에 대응하는 제품을 찾기 위한 제품 검출 모듈; 및 상기 제품 식별 정보에 대응하는 제품 정보를 상기 카메라 내장 단말기로 송신하기 위한 제품 정보 송신 모듈을 포함한다.
다른 실시 예로서, 상기 설명서 제공 서버는 상기 카메라 내장 단말기로부터의 상황별 설명서 요청을 수신하기 위한 상황별 설명서 요청 수신 모듈; 상기 상황별 설명서 요청에 응답하여 설명서 데이터베이스를 참조하여 상황별 설명서를 선택하기 위한 상황별 설명서 선별 모듈; 및 상기 선택된 상황별 설명서를 상기 카메라 내장 단말기에 송신하기 위한 상황별 설명서 송신 모듈을 포함한다.
본 발명에 따른 사용자 설명서 제공 방법은 카메라 내장 단말기가 설명서 제공 서버로 제품 식별 정보를 전송하는 단계; 상기 설명서 제공 서버가 상기 제품 식별 정보를 참조하여 제품을 식별하는 단계; 상기 카메라 내장 단말기가 상기 설명서 제공 서버로 상황별 설명서를 요청하는 단계; 상기 설명서 제공 서버가 상기 카메라 내장 단말기로 상기 상황별 설명서를 전송하는 단계; 상기 카메라 내장 단말기가 상기 상황별 설명서를 해석하는 단계; 상기 카메라 내장 단말기가 사용자의 위치를 파악하는 단계; 상기 카메라 내장 단말기가 상기 상황별 설명서와 상기 사용자의 위치를 참조하여 상기 사용자에게 증강 현실 기법의 설명서를 제공하는 단계를 포함한다.
본 발명에 따르면 사용자는 정확하고 신속하게 사용 설명서 정보를 얻을 수 있다. 또한, 본 발명에 따르면 사용자는 편리하게 사용 설명서 정보를 활용할 수 있다. 따라서, 업무 능률이 향상될 수 있다.
도 1은 본 발명에 따른 증강 현실을 이용한 사용자 설명서 제공 시스템을 간략하게 보여주는 블록도이다.
도 2는 도 1에 도시된 카메라 내장 단말기의 자세한 구조를 보여주는 블록도이다.
도 3은 도 1에 도시된 설명서 제공 서버의 자세한 구조를 보여주는 블록도이다.
도 4는 본 발명에 따른 사용자 설명서 제공 시스템의 동작 방법을 설명하기 위한 순서도이다.
앞의 일반적인 설명 및 다음의 상세한 설명 모두 예시적이라는 것이 이해되어야 하며, 청구된 발명의 부가적인 설명이 제공되는 것으로 여겨져야 한다. 참조 부호들이 본 발명의 바람직한 실시 예들에 상세히 표시되어 있으며, 그것의 예들이 참조 도면들에 표시되어 있다. 가능한 어떤 경우에도, 동일한 참조 번호들이 동일한 또는 유사한 부분을 참조하기 위해서 설명 및 도면들에 사용된다.
아래에서 사용자 설명서 제공 시스템이 본 발명의 특징 및 기능을 설명하기 위한 한 예로서 사용된다. 하지만, 이 기술 분야에 정통한 사람은 여기에 기재된 내용에 따라 본 발명의 다른 이점들 및 성능을 쉽게 이해할 수 있을 것이다. 본 발명은 다른 실시 예들을 통해 또한, 구현되거나 적용될 수 있을 것이다. 게다가, 상세한 설명은 본 발명의 범위, 기술적 사상 그리고 다른 목적으로부터 상당히 벗어나지 않고 관점 및 응용에 따라 수정되거나 변경될 수 있다.
도 1은 본 발명에 따른 증강 현실을 이용한 사용자 설명서 제공 시스템을 간략하게 보여주는 블록도이다. 도 1을 참조하면, 본 발명에 따른 사용자 설명서 제공 시스템은 카메라 내장 단말기(100), 무선 통신망(200), 그리고 설명서 제공 서버(300)를 포함한다.
카메라 내장 단말기(100)는 휴대형 또는 고정형으로 제공될 수 있다. 예를 들어, 카메라 내장 단말기(100)는 고정된 키오스크(kiosk) 형태 또는 셀룰러 폰의 형태로 제공될 수 있다. 카메라 내장 단말기(100)는 다양한 제품 식별 기술을 내장할 수 있다. 예를 들어, 카메라 내장 단말기(100)는 사용하고자 하는 제품을 촬영함으로써 제품을 식별할 수 있다. 또는 카메라 내장 단말기(100)는 사용하고자 하는 제품의 RFID 태그(tag) 또는 제품 코드(product code)를 이용하여 제품을 식별할 수 있다.
설명서 제공 서버(300)는 제품 생산자(manufacturer)에 의해 제공될 수 있다. 설명서 제공 서버(300)는 각각의 제품들에 대응하는 설명서들을 저장한다. 카메라 내장 단말기(100)와 설명서 제공 서버(300)는 무선 통신망(200)을 통해 데이터를 교환한다.
먼저, 카메라 내장 단말기(100)는 무선 통신망(200)을 통해 설명서 제공 서버(300)에 제품 식별 정보를 전송한다. 또한, 카메라 내장 단말기(100)는 설명서 제공 서버(300)에 사용자 설명서를 요청한다. 설명서 제공 서버(300)는 무선 통신망(200)을 통해 제품 식별 정보와 사용자 설명서 요청을 수신한다.
설명서 제공 서버(300)는 제품 식별 정보에 대응하는 제품의 사용자 설명서를 무선 통신망(200)을 통해 카메라 내장 단말기(100)로 전송한다. 카메라 내장 단말기(100)는 무선 통신망(200)을 통해 사용자 설명서를 수신하고, 증강 현실 기법을 이용해 사용자에게 설명서를 제공한다.
상술한 바와 같이, 본 발명에 따르면 사용자는 필요로 하는 사용자 설명서를 빠르고 정확하게 얻을 수 있다. 또한, 증강 현실을 통해 사용자는 사용자 설명서를 손쉽게 활용할 수 있다.
도 2는 도 1에 도시된 카메라 내장 단말기의 자세한 구조를 보여주는 블록도이다. 도 2를 참조하면, 본 발명에 따른 카메라 내장 단말기(100)는 영상 입력 모듈(105), 제품 윤곽 검출 모듈(110), 제품 식별 정보 생성 모듈(150), 상황별 설명서 요청 모듈(120), 상황별 설명서 수신 모듈(125), 설명서 데이터베이스(130), 제품 정보 수신 모듈(135), 제품 윤곽 데이터베이스(140), 단말기 컨트롤러(145), 제품 식별 정보 송신 모듈(115), 사용자 인터액션 모듈(155), 상황별 설명서 해석 모듈(160), 증강 현실 합성 모듈(165), 음성 정보 제공 모듈(170), 방위각 생성 모듈(175), 그리고 인터페이스 제어 모듈(180)을 포함한다.
또한, 도 3은 도 1에 도시된 설명서 제공 서버의 자세한 구조를 보여주는 블록도이다. 도 3을 참조하면, 본 발명에 따른 설명서 제공 서버(300)는 제품 식별 정보 수신 모듈(305), 제품 정보 송신 모듈(310), 상황별 설명서 요청 수신 모듈(315), 상황별 설명서 송신 모듈(320), 서버 컨트롤러(325), 제품 검출 모듈(330), RFID/제품코드 데이터베이스(335), 제품 윤곽 데이터베이스(340), 상황별 설명서 선별 모듈(345), 그리고 설명서 데이터베이스(350)를 포함한다.
이하, 도 2 및 도 3을 참조하여 본 발명에 따른 설명서 제공 시스템의 동작이 자세하게 설명될 것이다. 단말기 컨트롤러(145)는 카메라 내장 단말기(100)의 전체적인 동작을 제어한다. 또한, 서버 컨트롤러(325)는 설명서 제공 서버(300)의 전체적인 동작을 제어한다.
먼저, 사용자의 요청에 따라 카메라 내장 단말기(100)의 영상 입력 모듈(105)은 사용하고자 하는 제품의 영상을 획득한다. 자세하게 설명하면, 영상 입력 모듈(105)은 카메라와 같은 장치를 이용하여 사용하고자 하는 제품을 촬영하여 영상을 획득할 수 있다.
제품 윤곽 검출 모듈(110)은 획득된 영상을 참조하여 윤곽 검출을 통한 3차원 정보를 생성한다. 자세하게 설명하면, 제품 윤곽 검출 모듈(110)은 최초 가이드 기준 피사체 정렬 기반의 제품 윤곽 검출을 통하여 3차원 윤곽을 생성한다. 제품 윤곽 검출 모듈(110)은 생성된 3차원 윤곽을 방위각 생성 모듈(175)로 전송한다.
방위각 생성 모듈(175)은 수신된 3차원 윤곽과 제품 윤곽 데이터베이스(140)의 제품 윤곽 정보를 참조하여 제품의 정방향(정상 방향의 정면) 기준 최저점으로부터 촬영자의 위치를 3차원 좌표로 검출한다. 방위각 생성 모듈(175)은 검출 결과를 참조하여 제품명과 방위각(x,y,z)을 포함하는 데이터를 주기적으로 생성한다. 주기적으로 생성된 데이터는 촬영자의 위치를 실시간으로 파악하기 위해 사용된다.
카메라 내장 단말기(100) 내의 제품 식별 정보 생성 모듈(150)은 RFID 태그 정보 또는 사용자의 제품 코드를 획득한다. 카메라 내장 단말기(100) 내의 제품 식별 정보 송신 모듈(115)은 제품 윤곽 검출 모듈(110) 및 제품 식별 정보 생성 모듈(150)의 출력을 설명서 제공 서버(300)의 제품 식별 정보 수신 모듈(305)로 전송한다.
그런데, 본 발명에 따른 카메라 내장 단말기(100)는 제품 식별 정보 생성 모듈(150)의 출력을 설명서 제공 서버(300)로 전송하는 것을 생략할 수 있다. 예를 들어, 카메라 내장 단말기(100)는 제품 윤곽 검출 모듈(110)만으로도 충분히 정확하게 제품을 식별할 수 있는 경우, 제품 윤곽 검출 모듈(110)의 출력만을 설명서 제공 서버(300)로 전송할 수 있다. 따라서, 제품 식별 정보 생성 모듈(150)의 동작이 생략될 수 있다.
설명서 제공 서버(300) 내의 제품 식별 정보 수신 모듈(305)은 수신된 제품 식별 정보를 제품 검출 모듈(330)로 전송한다. 제품 검출 모듈(330)은 제품 식별 정보를 참조하여 RFID/제품코드 데이터베이스(335)를 참조하여 RFID 태그 혹은 제품코드 기반의 1차 검색을 수행한다. 또는 제품 검출 모듈(330)은 제품 윤곽 데이터베이스(340)를 참조하여 2차 검색을 수행한다.
제품 검출 모듈(330)은 식별된 제품의 전체 윤곽 정보를 제품 윤곽 데이터베이스(340)로부터 검색한다. 제품 검출 모듈(330)은 제품 정보 송신 모듈(310)을 통해 카메라 내장 단말기(100) 내의 제품 정보 수신 모듈(135)로 전송한다. 카메라 내장 단말기(100)의 제품 정보 수신 모듈(135)은 수신된 제품 전체 윤곽 정보를 제품 윤곽 데이터베이스(140)에 저장한다.
만약, 1차 검색 및 2차 검색에 의하여도 정확한 제품이 결정되지 않는 경우, 사용자 인터액션 모듈(155)은 사용자에게 후보 제품들을 제시한다. 사용자는 후보 제품들 중 어느 하나의 제품을 선택함으로써 정확한 제품을 선택할 수 있다.
카메라 내장 단말기(100)는 제품 정보 수신 후, 상황별 설명서 요청 모듈(120)을 통해 상황에 따른 사용 설명서를 요청한다. 상황에 따라 사용자가 원하는 설명서는 달라질 수 있기 때문이다. 따라서, 본 발명에서는 상황에 따라 적합한 사용 설명서를 설명서 제공 서버(300)에 요청함으로써 사용자의 요구가 만족될 수 있다.
설명서 제공 서버(300) 내의 상황별 설명서 요청 수신 모듈(315)은 수신된 상황별 설명서 요청을 상황별 설명서 선별 모듈(345)로 전송한다. 상황별 설명서 선별 모듈(345)은 설명서 데이터베이스(350)를 검색하여 제품에 대응하는 설명서 정보를 획득한다. 상황별 설명서 선별 모듈(345)은 상황별 설명서 송신 모듈(320)을 통해 설명서 정보를 카메라 내장 단말기(100) 내의 상황별 설명서 수신 모듈(125)로 전송한다.
예를 들어, 상황별 설명서 선별 모듈(345)은 사용자의 최초 요청에 응답하여 설명서의 목차(table of contents)를 카메라 내장 단말기(100)로 전송할 수 있다. 사용자는 목차를 참조하여 자신이 필요로 하는 설명서를 선택할 수 있다.
카메라 내장 단말기(100) 내의 상황별 설명서 수신 모듈(125)은 수신된 상황별 설명서를 설명서 데이터베이스(130)에 저장한다. 또한, 상황별 설명서 수신 모듈(125)은 상황별 설명서를 상황별 설명서 해석 모듈(160)로 전달한다.
상황별 설명서 해석 모듈(160)은 설명서를 해석하여 증강 현실 합성 모듈(165) 및 음성 정보 제공 모듈(170)로 전달한다. 증강 현실 합성 모듈(165)은 상황별 설명서를 영상 신호의 형태로 출력한다. 음성 정보 제공 모듈(170)은 상황별 설명서를 음성 신호의 형태로 출력한다.
자세히 설명하면, 방위각 생성 모듈(175)은 현재의 촬영 방위각을 실시간으로 증강 현실 합성 모듈(165)로 전달한다. 증강 현실 합성 모듈(165)은 현재 사용자의 시야각에 알맞은 증강 현실 화면을 실시간으로 합성하여 영상 신호의 형태로 제공한다. 음성 정보 제공 모듈(170)은 사용설명 음성 정보를 카메라 내장 단말기(100)를 통해 제공한다.
인터페이스 제어 모듈(180)은 사용자의 통제에 따라 상황별 설명서 해석 모듈(160)에 설명서 해석 단계 진행을 요청한다. 상황별 설명서 해석 모듈(160)은 수신된 설명서 정보를 단계별로 해석하여 증강 현실 합성 모듈(165) 및 음성 정보 제공 모듈(170)로 전달한다.
본 발명에 따른 설명서 제공 시스템은 인터페이스 제어 모듈(180)을 통한 사용자의 사용 종료 요청 이전까지 위의 동작들을 반복하여 수행한다.
도 4는 본 발명에 따른 사용자 설명서 제공 시스템의 동작 방법을 설명하기 위한 순서도이다. 도 4를 참조하면 본 발명에 따른 사용자 설명서 제공 시스템은 S110 내지 S180 단계들을 통해 동작한다.
S110 단계에서, 카메라 내장 단말기(100)는 제품 식별 정보를 설명서 제공 서버(300)로 전송한다. 자세하게 설명하면, 카메라 내장 단말기(100)는 카메라에 의해 얻어진 윤곽 정보를 설명서 제공 서버(300)로 전송한다. 또는 카메라 내장 단말기(100)는 RFID 태그 정보 또는 제품 코드를 설명서 제공 서버(300)로 전송할 수 있다. 상술한 바와 같이, 카메라 내장 단말기(100)는 윤곽 정보만을 설명서 제공 서버(300)로 전송할 수도 있고, 윤곽 정보와 함께 태그 정보 또는 제품 코드를 설명서 제공 서버(300)로 전송할 수 있다.
S120 단계에서, 설명서 제공 서버(300)는 수신된 제품 식별 정보를 참조하여 제품을 식별한다. 자세하게 설명하면, 설명서 제공 서버(300)의 제품 검출 모듈(330)은 윤곽 정보를 참조하여 제품 윤곽 데이터베이스(340)를 검색한다. 또한, 설명서 제공 서버(300)의 제품 검출 모듈(330)은 RFID 태그 정보 또는 제품 코드를 참조하여 RFID/제품코드 데이터베이스(335)를 검색한다.
이와 같이, 설명서 제공 서버(300)는 데이터베이스들(335, 340)을 참조하여 제품을 식별한다. 설명서 제공 서버(300)는 제품 정보를 카메라 내장 단말기(100)로 전송하며, 카메라 내장 단말기(100)는 수신된 제품 정보를 카메라 내장 단말기(100) 내의 제품 윤곽 데이터베이스(140)에 저장한다.
S130 단계에서, 카메라 내장 단말기(100)는 설명서 제공 서버(300)에 상황별 설명서를 요청한다. 자세하게 설명하면, 사용자는 현재 단계에서 필요한 설명서를 선택한다. 이에 응답하여 카메라 내장 단말기(100) 내의 상황별 설명서 요청 모듈(120)은 상황별 설명서를 설명서 제공 서버(300)에 요청한다. 설명서 제공 서버(300)는 상황별 설명서 요청 수신 모듈(315)을 통해 요청을 수신한다. 설명서 제공 서버(300)는 상황별 설명서 선별 모듈(345)을 통해 설명서 데이터베이스(350)에 접근한다. 설명서 제공 서버(300)는 상황별 설명서 송신 모듈(320)을 이용하여 상황별 설명서를 카메라 내장 단말기(100)에 전송한다.
S140 단계에서, 카메라 내장 단말기(100)는 설명서 제공 서버(300)로부터 상황별 설명서를 수신한다. 자세하게 설명하면, 카메라 내장 단말기(100) 내의 상황별 설명서 수신 모듈(125)은 설명서 제공 서버(300)로부터 상황별 설명서를 수신한다. 상황별 설명서 수신 모듈(125)은 설명서 데이터베이스(130)에 상황별 설명서를 저장한다. 상황별 설명서 수신 모듈(125)은 상황별 설명서를 상황별 설명서 해석 모듈(160)로 전송한다.
S150 단계에서, 카메라 내장 단말기(100)는 수신된 상황별 설명서를 해석한다. 자세하게 설명하면, 카메라 내장 단말기(100) 내의 상황별 설명서 해석 모듈(160)은 상황별 설명서를 해석하여 증강 현실 합성 모듈(165) 또는 음성 정보 제공 모듈(170)로 전송한다.
S160 단계에서, 카메라 내장 단말기(100)는 사용자 촬영 방위각을 계산한다. 자세하게 설명하면, 카메라 내장 단말기(100) 내의 제품 윤곽 검출 모듈(110)은 카메라에 의해 얻어진 제품 윤곽을 이용하여 3차원 윤곽을 생성한다. 제품 윤곽 검출 모듈(110)은 생성된 3차원 윤곽을 방위각 생성 모듈(175)로 전송한다.
방위각 생성 모듈(175)은 수신된 3차원 윤곽과 제품 윤곽 데이터베이스(140)에 저장된 제품 윤곽 정보를 참조하여 사용자의 위치를 계산한다. 계산된 사용자의 위치 정보는 상황별 설명서 해석 모듈(160)로 전달된다.
S170 단계에서, 카메라 내장 단말기(100)는 상황별 설명서와 사용자의 위치 정보를 참조하여 사용자에게 증강 현실 설명서를 제공한다. 자세하게 설명하면, 카메라 내장 단말기(100) 내의 상황별 설명서 해석 모듈(160)은 사용자의 위치 정보를 반영하여 증강 현실 합성 모듈(165)이 상황별 설명서를 사용자의 시야각에 맞게 영상 신호로 출력하도록 제어한다. 또한, 카메라 내장 단말기(100) 내의 상황별 설명서 해석 모듈(160)은 사용자의 위치 정보를 반영하여 음성 정보 제공 모듈(170)이 상황별 설명서를 사용자의 위치에 맞게 음성 신호로 출력하도록 제어한다. 따라서, 사용자는 입체적인 영상 및 음성으로 설명서를 제공받을 수 있다.
S180 단계에서, 사용자의 사용 정지 요청이 있는 경우, 사용자 설명서 제공 시스템의 동작이 종료된다. 만약, 사용자의 사용 정지 요청이 없는 경우, S130 내지 S170 단계가 다시 수행된다.
상술한 바와 같이, 사용자는 단순히 카메라를 이용하여 제품을 촬영함으로써 제품의 설명서를 빠르고 정확하게 얻을 수 있다. 또한, 사용자는 증강 현실을 이용한 설명서를 제공받음으로써 제품의 설명서를 쉽게 활용할 수 있다.
본 발명의 범위 또는 기술적 사상을 벗어나지 않고 본 발명의 구조가 다양하게 수정되거나 변경될 수 있음은 이 분야에 숙련된 자들에게 자명하다. 상술한 내용을 고려하여 볼 때, 만약 본 발명의 수정 및 변경이 아래의 청구항들 및 동등물의 범주 내에 속한다면, 본 발명이 이 발명의 변경 및 수정을 포함하는 것으로 여겨진다.

Claims (9)

  1. 카메라를 이용하여 제품 식별 정보를 얻고, 증강 현실 기법으로 사용자에게 설명서를 제공하는 카메라 내장 단말기; 및
    상기 제품 식별 정보에 대응하는 제품의 설명서를 무선 통신망을 통해 상기 카메라 내장 단말기로 전송하는 설명서 제공 서버를 포함하는 사용자 설명서 제공 시스템.
  2. 제 1 항에 있어서,
    상기 카메라 내장 단말기는
    제품 영상을 획득하기 위한 영상 입력 모듈;
    상기 제품 영상을 참조하여 3차원 윤곽을 생성하는 제품 윤곽 검출 모듈;
    RFID 태그 정보 또는 제품 코드를 입력받기 위한 제품 식별 정보 생성 모듈; 및
    상기 제품 윤곽 검출 모듈 또는 상기 제품 식별 정보 생성 모듈의 출력을 상기 설명서 제공 서버로 전송하기 위한 제품 식별 정보 송신 모듈을 포함하는 사용자 설명서 제공 시스템.
  3. 제 1 항에 있어서,
    상기 카메라 내장 단말기는
    사용자의 선택에 따라 상황별 설명서를 상기 설명서 제공 서버에 요청하기 위한 상황별 설명서 요청 모듈;
    상기 설명서 제공 서버로부터 상기 상황별 설명서를 수신하기 위한 상황별 설명서 수신 모듈; 및
    상기 수신된 상황별 설명서를 저장하기 위한 설명서 데이터베이스를 포함하는 사용자 설명서 제공 시스템.
  4. 제 1 항에 있어서,
    상기 카메라 내장 단말기는
    상기 설명서 제공 서버로부터 수신된 상황별 설명서를 해석하기 위한 상황별 설명서 해석 모듈;
    상기 상황별 설명서 해석 모듈의 출력에 응답하여 사용자에게 증강 현실 영상 신호를 제공하기 위한 증강 현실 합성 모듈; 및
    상기 상황별 설명서 해석 모듈의 출력에 응답하여 사용자에게 음성 신호를 제공하기 위한 음성 정보 제공 모듈을 포함하는 사용자 설명서 제공 시스템.
  5. 제 4 항에 있어서,
    상기 카메라 내장 단말기는 촬영자의 위치 정보를 검출하기 위한 방위각 생성 모듈을 더 포함하고, 상기 증강 현실 합성 모듈은 상기 상황별 설명서 해석 모듈의 출력과 상기 촬영자의 위치 정보를 참조하여 사용자에게 증강 현실 영상 신호를 제공하는 사용자 설명서 제공 시스템.
  6. 제 5 항에 있어서,
    상기 음성 정보 제공 모듈은 상기 상황별 설명서 해석 모듈의 출력과 상기 촬영자의 위치 정보를 참조하여 사용자에게 음성 신호를 제공하는 사용자 설명서 제공 시스템.
  7. 제 1 항에 있어서,
    상기 설명서 제공 서버는
    상기 카메라 내장 단말기로부터 상기 무선 통신망을 통해 상기 제품 식별 정보를 수신하기 위한 제품 식별 정보 수신 모듈;
    제품 윤곽 데이터베이스 또는 RFID/제품코드 데이터베이스를 검색하여 상기 제품 식별 정보에 대응하는 제품을 찾기 위한 제품 검출 모듈; 및
    상기 제품 식별 정보에 대응하는 제품 정보를 상기 카메라 내장 단말기로 송신하기 위한 제품 정보 송신 모듈을 포함하는 사용자 설명서 제공 시스템.
  8. 제 1 항에 있어서,
    상기 설명서 제공 서버는
    상기 카메라 내장 단말기로부터의 상황별 설명서 요청을 수신하기 위한 상황별 설명서 요청 수신 모듈;
    상기 상황별 설명서 요청에 응답하여 설명서 데이터베이스를 참조하여 상황별 설명서를 선택하기 위한 상황별 설명서 선별 모듈; 및
    상기 선택된 상황별 설명서를 상기 카메라 내장 단말기에 송신하기 위한 상황별 설명서 송신 모듈을 포함하는 사용자 설명서 제공 시스템.
  9. 카메라 내장 단말기가 설명서 제공 서버로 제품 식별 정보를 전송하는 단계;
    상기 설명서 제공 서버가 상기 제품 식별 정보를 참조하여 제품을 식별하는 단계;
    상기 카메라 내장 단말기가 상기 설명서 제공 서버로 상황별 설명서를 요청하는 단계;
    상기 설명서 제공 서버가 상기 카메라 내장 단말기로 상기 상황별 설명서를 전송하는 단계;
    상기 카메라 내장 단말기가 상기 상황별 설명서를 해석하는 단계;
    상기 카메라 내장 단말기가 사용자의 위치를 파악하는 단계; 및
    상기 카메라 내장 단말기가 상기 상황별 설명서와 상기 사용자의 위치를 참조하여 상기 사용자에게 증강 현실 기법의 설명서를 제공하는 단계를 포함하는 사용자 설명서 제공 방법.
KR1020100017084A 2010-02-25 2010-02-25 증강 현실을 이용한 사용자 설명서 제공 단말기, 서버 및 방법 KR101180278B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100017084A KR101180278B1 (ko) 2010-02-25 2010-02-25 증강 현실을 이용한 사용자 설명서 제공 단말기, 서버 및 방법
PCT/KR2010/006084 WO2011105671A1 (ko) 2010-02-25 2010-09-08 증강 현실을 이용한 사용자 설명서 제공 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100017084A KR101180278B1 (ko) 2010-02-25 2010-02-25 증강 현실을 이용한 사용자 설명서 제공 단말기, 서버 및 방법

Publications (2)

Publication Number Publication Date
KR20110097305A true KR20110097305A (ko) 2011-08-31
KR101180278B1 KR101180278B1 (ko) 2012-09-07

Family

ID=44507054

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100017084A KR101180278B1 (ko) 2010-02-25 2010-02-25 증강 현실을 이용한 사용자 설명서 제공 단말기, 서버 및 방법

Country Status (2)

Country Link
KR (1) KR101180278B1 (ko)
WO (1) WO2011105671A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8823855B2 (en) 2010-10-13 2014-09-02 Pantech Co., Ltd. User equipment and method for providing augmented reality (AR) service
WO2020032404A1 (ko) * 2018-08-08 2020-02-13 주식회사 소울핑거 증강현실 컨텐츠 제공 시스템 및 방법
KR102261828B1 (ko) 2020-04-10 2021-06-08 주식회사 리드워크 증강현실을 이용한 제품 사용설명서 서비스 시스템
KR20220096808A (ko) * 2020-12-31 2022-07-07 채상훈 음성 기반 제품사용설명서 안내 서비스 제공 방법
KR20220107363A (ko) 2021-01-25 2022-08-02 목포대학교산학협력단 인증된 증강 현실 콘텐츠의 제공 시스템 및 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577071A (zh) * 2012-07-23 2014-02-12 鸿富锦精密工业（深圳）有限公司 产品使用说明书显示系统及方法
CN103955889B (zh) * 2013-12-31 2017-02-08 广东工业大学 一种基于增强现实技术的制图类作业评阅方法
CN106408666B (zh) * 2016-08-31 2019-06-21 重庆玩艺互动科技有限公司 混合现实实境演示方法
CN107948327B (zh) * 2018-01-02 2021-08-06 中国银行股份有限公司 一种基于业务培训的数据处理方法、装置及系统
JP6542445B1 (ja) 2018-07-31 2019-07-10 株式会社 情報システムエンジニアリング 情報提供システム及び情報提供方法
JP6607590B1 (ja) 2019-03-29 2019-11-20 株式会社 情報システムエンジニアリング 情報提供システム及び情報提供方法
JP6651189B1 (ja) 2019-03-29 2020-02-19 株式会社 情報システムエンジニアリング 機械学習用のデータ構造、学習方法及び情報提供システム
JP6607589B1 (ja) 2019-03-29 2019-11-20 株式会社 情報システムエンジニアリング 情報提供システム及び情報提供方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100568798B1 (ko) * 2003-11-15 2006-04-07 조용균 핫코드를 이용한 사이버 사용설명서
KR100593399B1 (ko) * 2003-12-08 2006-06-28 한국전자통신연구원 증강현실을 이용한 부품 정비시스템 및 방법
KR100963236B1 (ko) * 2007-11-01 2010-06-10 광주과학기술원 증강현실을 이용한 제품정보 제공 시스템 및 그 제공방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8823855B2 (en) 2010-10-13 2014-09-02 Pantech Co., Ltd. User equipment and method for providing augmented reality (AR) service
WO2020032404A1 (ko) * 2018-08-08 2020-02-13 주식회사 소울핑거 증강현실 컨텐츠 제공 시스템 및 방법
JP2021534518A (ja) * 2018-08-08 2021-12-09 パピーレッド インク． 拡張現実コンテンツ提供システム及び方法
KR102261828B1 (ko) 2020-04-10 2021-06-08 주식회사 리드워크 증강현실을 이용한 제품 사용설명서 서비스 시스템
KR20220096808A (ko) * 2020-12-31 2022-07-07 채상훈 음성 기반 제품사용설명서 안내 서비스 제공 방법
KR20220107363A (ko) 2021-01-25 2022-08-02 목포대학교산학협력단 인증된 증강 현실 콘텐츠의 제공 시스템 및 방법

Also Published As

Publication number Publication date
WO2011105671A1 (ko) 2011-09-01
KR101180278B1 (ko) 2012-09-07

Similar Documents

Publication Publication Date Title
KR101180278B1 (ko) 증강 현실을 이용한 사용자 설명서 제공 단말기, 서버 및 방법
US9128644B2 (en) Image processing system including an image processing apparatus and a portable terminal
JP4913913B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP5834232B2 (ja) 撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法
EP3427233B1 (en) Method and apparatus for providing augmented reality services
KR20110096500A (ko) 위치 기반의 통신 방법 및 시스템
US11323657B2 (en) Initiation of two-way AR sessions using physical markers
JP2002152713A (ja) 被写体情報処理装置、被写体情報処理方法
KR101413011B1 (ko) 위치 정보 기반 증강현실 시스템 및 제공 방법
KR20190100133A (ko) 증강현실용 컨텐츠 제공 장치 및 방법
KR100706912B1 (ko) 위치별 사진 매핑 시스템 및 방법
JP5854714B2 (ja) 表示制御装置、表示制御装置の制御方法、プログラム
JP6635573B2 (ja) 画像処理システム、画像処理方法、及びプログラム
JP2013085200A (ja) 画像処理装置、画像処理方法、及びプログラム
CN112181138B (zh) 自适应智能头手vr系统、方法
JP2013142956A (ja) 撮影対象検索システム
JP5811722B2 (ja) 画像処理システム、サーバー、制御方法および制御プログラム
KR20200122754A (ko) 증강 현실 이미지를 제공하는 스마트 안경 시스템
US11238658B2 (en) AR space image projecting system, AR space image projecting method, and user terminal
KR102010252B1 (ko) 증강 현실 서비스 제공 장치 및 방법
KR20090066776A (ko) 로봇 위치 추정을 위한 위치결정서비스 프레임 워크 장치및 그 방법
JP2004072377A (ja) カメラ、カメラシステム、および、記録媒体
CN107193513B (zh) 终端装置、数据处理系统和数据处理方法
JP6404526B2 (ja) 撮像画像共有システム、撮像画像共有方法及びプログラム
KR101553265B1 (ko) 원격 단말 제어를 위한 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150922

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160830

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee