KR101520889B1 - 객체와 핸드 장치 사이의 거리 정보를 활용하는 디지로그 북 시스템 및 구현 방법 - Google Patents

객체와 핸드 장치 사이의 거리 정보를 활용하는 디지로그 북 시스템 및 구현 방법 Download PDF

Info

Publication number
KR101520889B1
KR101520889B1 KR1020130099182A KR20130099182A KR101520889B1 KR 101520889 B1 KR101520889 B1 KR 101520889B1 KR 1020130099182 A KR1020130099182 A KR 1020130099182A KR 20130099182 A KR20130099182 A KR 20130099182A KR 101520889 B1 KR101520889 B1 KR 101520889B1
Authority
KR
South Korea
Prior art keywords
virtual object
information
unit
user
hand device
Prior art date
Application number
KR1020130099182A
Other languages
English (en)
Other versions
KR20150021791A (ko
Inventor
우운택
박갑용
이형묵
이준협
박노영
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020130099182A priority Critical patent/KR101520889B1/ko
Publication of KR20150021791A publication Critical patent/KR20150021791A/ko
Application granted granted Critical
Publication of KR101520889B1 publication Critical patent/KR101520889B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 객체(object)와 핸드 장치(hand device) 사이의 거리 정보를 활용하는 디지로그 북(digilog book) 시스템 및 구현 방법에 관한 것으로, 본 발명에 따른 디지로그 북 시스템 및 구현 방법은 사용자로 하여금 증강된 콘텐츠와 비접촉적인 상호작용이 가능하도록 함으로써 개선된 몰입감을 제공하며, 스토리 배경에 사용자가 직접적으로 접촉하지 않고도 상호작용이 가능하도록 하여 캐릭터들 간의 자연스러운 스토리 흐름을 방해하지 않는다는 점에서 장점을 가진다. 또한, 적용 거리에 따른 다양한 반응을 부가함으로써 독자의 흥미를 효과적으로 유발할 수 있다.

Description

객체와 핸드 장치 사이의 거리 정보를 활용하는 디지로그 북 시스템 및 구현 방법{Digilog Book System Using Distance Information Between Object and Hand Device and Implementation Method Therof}
본 발명은 객체(object)와 핸드 장치(hand device) 사이의 거리 정보를 활용하는 디지로그 북(Digilog book) 시스템 및 구현 방법에 관한 것으로, 구체적으로는 카메라가 부착된 핸드 장치와 전자책에 포함되어 있는 객체들 사이의 거리 정보를 비교·분석하고, 거리 정보를 기반으로 작용(effect) 객체를 선별함으로써 특정 객체와 선택적 상호작용이 가능한 디지로그 북 시스템 및 구현 방법에 관한 것이다.
최근 컴퓨터 그래픽, 컴퓨터 비전 등의 기술을 기반으로 한 증강현실 기술이 발전함에 따라 현실세계에 가상의 디지털 콘텐츠를 결합하려는 시도들이 행해지고 있다. 특히, 디지로그(Digilog: Digital과 Analog의 합성어) 북(book)은 평면의 도안에 인간의 오감을 자극하는 디지털 콘텐츠를 증강시킴으로써 독자에게 기존 종이책이 제공할 수 없던 부가적인 정보를 제공하고, 증강된 콘텐츠와 상호작용을 할 수 있게 해준다는 점에서 주목을 받고 있다.
접촉식 상호작용을 기반으로 하는 증강현실과 관련하여서는, 사용자가 직접 가상객체와 접촉하고 시스템으로부터 피드백을 받는 방식의 상호작용 시스템이 주로 연구되어 왔는데(하태진, 이영호, 우운택, “디지로그 북: 증강현실 기반 범종 체험,” 한국 HCI 학회, pp. 456-460, 2008), 위 시스템은 사용자 손의 위치를 카메라가 트래킹하고 손의 위치와 방향을 계산함으로써 가상객체를 조작하는 방식으로 작동된다. 이에 따라 위 시스템을 사용하는 사용자는 가상의 객체를 만지는 직접적인 행위를 경험하게 되며, 가상 객체와 같은 공간에 존재한다는 느낌을 효과적으로 전달받게 된다.
그러나 이러한 기존의 접촉식 상호작용 시스템의 경우, 소설과 같은 스토리형 디지로그 북에 적용될 때에는 사용자가 객체에 직접적으로 접촉을 하게 되어 캐릭터들 간의 자연스러운 스토리 흐름이 방해되고, 부자연스러운 상호작용이 발생하여 사용자의 관람을 방해한다는 문제점이 제기되어 왔다.
상기와 같은 문제점을 해결하기 위하여 본 발명은, 스토리 흐름을 방해하지 않으면서 자연스럽게 사용자와 상호작용함으로써 사용자의 참여를 유도할 수 있는 디지로그 북 시스템 및 구현 방법을 제공하는 것을 그 목적으로 한다.
상기 목적을 달성하기 위해 본 발명은 카메라가 부착된 핸드 장치와 객체 정보를 포함하는 책을 이용하는 디지로그 북 시스템에 있어서,
상기 핸드 장치를 이용하여 책을 포함한 실제 환경에 대한 영상을 획득하는 영상 획득부;
상기 영상 획득부에서 획득된 상기 영상으로부터 객체 정보를 추출하는 객체 정보 추출부;
상기 객체 정보에 대응되는 가상 객체를 생성하는 가상 객체 생성부;
상기 핸드 장치와 상기 가상 객체 사이의 거리 정보를 추출하고, 이를 통해 사용자의 반응을 판단하는 사용자 반응 판단부;
상기 사용자 반응에 따라 상기 가상 객체를 변환시키는 가상 객체 반응부; 및
상기 가상 객체를 디스플레이하는 디스플레이부를 포함하는 것을 특징으로 하는 디지로그 북 시스템을 제공한다.
또한, 상기 목적을 달성하기 위해 본 발명은 카메라가 부착된 핸드 장치와 객체 정보를 포함하는 전자책을 이용하는 디지로그 북 구현 방법에 있어서,
상기 핸드 장치를 이용하여 책을 포함한 실제 환경에 대한 영상을 획득하는 영상 획득 단계;
상기 획득된 영상으로부터 객체 정보를 추출하는 객체 정보 추출 단계;
상기 추출된 객체 정보에 대응되는 가상 객체를 생성하는 가상 객체 생성 단계;
상기 핸드 장치와 상기 가상 객체 사이의 거리 정보를 추출하고, 이를 통해 사용자의 반응을 판단하는 사용자 반응 판단 단계;
상기 사용자 반응에 따라 상기 가상 객체를 변환시키는 가상 객체 반응 단계; 및
상기 가상 객체를 디스플레이하는 디스플레이 단계를 포함하는 것을 특징으로 하는 디지로그 북 구현 방법을 제공한다.
본 발명에 따른 디지로그 북 시스템 및 구현 방법은, 증강된 콘텐츠와 비접촉적인 상호작용이 가능하므로 개선된 몰입감을 제공하며, 캐릭터들 간의 자연스러운 스토리 흐름을 방해하지 않는다는 장점을 가진다. 또한, 적용 거리에 따른 다양한 반응을 부가함으로써 독자의 흥미를 효과적으로 유발할 수 있다.
도 1은 본 발명의 일실시예에 따른 디지로그 북 시스템의 구성도이다.
도 2는 본 발명의 일실시예에 따른 디지로그 북 시스템의 객체 정보 추출부 구성을 개략적으로 나타낸 구성도이다.
도 3은 본 발명의 일실시예에 따른 디지로그 북 시스템의 사용자 반응 판단부 구성을 개략적으로 나타낸 구성도이다.
도 4는 본 발명의 일실시예에 따른 디지로그 북 구현 방법을 나타낸 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 객체(object)와 핸드 장치(hand device) 사이의 거리 정보를 활용하는 디지로그 북(Digilog book) 시스템 및 구현 방법을 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 디지로그 북 시스템의 구성도이다. 도 1을 참조하면, 본 발명의 일실시예에 따른 디지로그 북 시스템은 책(3)을 포함하는 실제 환경(5)과, 실제 환경(5)의 영상을 획득할 수 있는 카메라가 부착된 핸드 장치(10)를 포함할 수 있다.
본 발명의 일실시예에 따르면 책(3)은 인쇄물 또는 전자책 형태일 수 있다. 인쇄물에는 2차원 또는 3차원으로 표현된 도안이 포함될 수 있으며, 전자책에는 타블렛 PC 등의 2차원 또는 3차원으로 도안을 표현할 수 있는 전자 기기가 포함될 수 있다. 이때, 도안에는 가상 객체를 표상하는 마커가 구비되어 있을 수 있으며, 마커는 가상 객체를 표상하기 위하여 구비되는 것으로, 2차원 도안으로 표현된 2차원 마커, 2차원 이미지, 3차원 이미지, 비가시적 마커(Invisible Marker) 중 어느 하나일 수 있다. 다만, 도안을 인식하는 방법으로, 마커를 사용하지 않고 프레임 매칭을 통해 도안이 표상하는 가상 객체를 인식하는 방법이 사용될 수 있으므로, 상기 마커가 반드시 포함되어야 하는 것은 아니다.
본 발명의 일실시예에 따르면 핸드 장치(10)로는 카메라가 달린 소형 노트북이 사용될 수 있으나, 영상 촬영 기능과 제어 기능을 수행할 수 있는 기기라면 모두 사용 가능한 것으로 이에 제한되는 것은 아니다.
본 발명의 디지로그 북 시스템은 영상 획득부(110), 객체 정보 추출부(120), 가상 객체 생성부(130), 사용자 반응 판단부(140), 가상 객체 반응부(150) 및 디스플레이부(160)를 포함할 수 있다.
본 발명의 일실시예에 따르면, 영상 획득부(110), 객체 정보 추출부(120), 가상 객체 생성부(130), 사용자 반응 판단부(140), 가상 객체 반응부(150) 및 디스플레이부(160)는 핸드 장치(10)를 통해 하나의 하드웨어 내에서 구현될 수 있으나, 대용량 처리가 필요한 경우 별도의 하드웨어를 통해서도 구현 가능한 것이므로 이에 제한되는 것은 아니다.
영상 획득부(110)는 핸드 장치의 카메라를 이용하여 실제 환경(5)에 대한 영상을 획득하고, 획득한 영상을 객체 정보 추출부(120)로 전달한다. 영상 획득을 위한 장치로는 카메라, 캠코더, 웹캠(webcam) 등이 사용될 수 있으나, 실제 환경(5)에 대한 영상 정보를 획득하여 전자적 신호로 변환 가능한 장치라면 모두 사용 가능한 것으로, 이에 제한되는 것은 아니다.
객체 정보 추출부(120)는 영상 획득부(110)로부터 전달 받은 영상 정보로부터 객체 정보를 분리하여 가상 객체 생성부(130)로 전달한다. 상기 객체 정보를 분리하는 방법으로는 마커 인식 방법이 사용될 수 있으며, 마커 인식 방법은 상기 마커에 직접적으로 대응되는 객체 정보를 데이터베이스로부터 찾아내는 방식으로 수행될 수 있다. 마커가 구비되어 있지 않을 경우에는, 도안의 프레임 매칭 방법을 통해 대응되는 객체 정보를 찾아낼 수 있다. 상기 프레임 매칭을 하는 방법으로는, SIFT(Scale Invariant Feature Transform) 알고리즘을 사용하여 도안의 특징(feature) 값을 추출(extraction)한 후 특징 값을 데이터베이스에 저장되어 있는 것과 비교한 후, 가장 높은 상관관계를 가지는 객체를 탐색하는 방법이 사용될 수 있으나 이에 제한되는 것은 아니다.
객체 정보 추출부(120)는 마커 인식 또는 프레임 매칭을 통해 도안에 대응되는 객체 탐색이 완료되면, 해당 객체의 정보를 가상 객체 생성부(130)로 전달할 수 있다. 이때, 가상 객체 생성부(130)로 전달되는 객체 정보에는 마커 인식 또는 프레임 매칭 결과에 대응하는 객체 정보와, 도안과 객체의 상대적 위치 정보가 포함될 수 있다. 다만, 상기 SIFT(Scale Invariant Feature Transform) 알고리즘은 현실 객체(112)의 특징(feature) 값을 추출하기 위하여 선택된 하나의 알고리즘에 불과한 것으로, 그 외에도 SURF(Speeded Up Robust Feature) 알고리즘, PCA-SIFT(Principal Component Analysis based SIFT) 알고리즘, FAST(Feature from Accelerated Segment Test) 알고리즘 등이 사용될 수 있으므로, 전술한 바에 한정되는 것은 아니다.
가상 객체 생성부(130)는 객체 정보 추출부(120)로부터 전달 받은 객체 정보에 대응되는 가상 객체 정보를 데이터베이스로부터 검색한 후, 대응되는 가상 객체 정보가 검색된 경우 해당 가상 객체 정보를 실제 환경(5)에 중첩하여 디스플레이 가능한 신호로 변환함으로써 가상 객체를 생성할 수 있다. 이때, 가상 객체를 생성하기 위해서는 공지된 가상 객체 생성 엔진을 사용될 수 있으며, 예를 들어 Unity 3D 엔진이 사용될 수 있으나 이에 제한되는 것은 아니다.
가상 객체 생성부(130)는 가상 객체를 가상 객체 생성부(130)가 전달 받은 객체의 위치 정보에 대응하는 위치에 중첩시켜 형성할 수 있으나, 사용자가 원하는 어느 위치에도 중첩시킬 수 있다.
가상 객체 생성부(130)는 객체 정보를 전달받지 못하거나 전달받은 객체에 대응되는 가상 객체 정보를 찾을 수 없는 경우에는, 가상 객체를 중첩시키지 않은 실제 환경(5)에 대한 영상 정보만 디스플레이 가능한 신호로 변환하여 디스플레이부(160)로 전달할 수 있다.
사용자 반응 판단부(140)는 핸드 장치(10)와 가상 객체 생성부(130)에 의해 생성된 가상 객체 사이의 거리 정보를 추출하고, 이를 통해 사용자의 반응을 판단할 수 있다. 이때, 핸드 장치(10)와 가상 객체 사이의 거리 정보는 가상 객체가 증강된 도안의 좌표와 핸드 장치 사이의 픽셀 정보로 표현될 수 있으며, 가상 객체가 표현된 위치 정보나 가상 객체의 형상에 관한 정보가 반영될 수 있다. 핸드 장치(10)와 가상 객체 사이의 거리 정보를 획득하기 위해 영상 정보로부터 도안의 상태에 관한 정보를 추출한 후, 이를 기반으로 증강될 객체의 초기 위치를 결정하고, 핸드 장치(10)와의 상대적 거리 정보를 획득할 수 있다. 이때, 도안의 상태에 관한 정보를 표현하기 위해서 도안의 회전 상태에 대한 정보와 위치 정보를 하나의 행렬로 구성하여 사용할 수 있으나, 이에 제한되는 것은 아니다.
사용자 반응 판단부(140)는 증강 객체와 핸드 장치(10)와의 상대적 거리 정보를 추출하는 방법의 일환으로 책(3)과 핸드 장치(10) 사이의 거리를 측정하여 사용할 수 있는데, 구체적으로는 영상 획득부(110)로부터 획득된 영상 정보로부터 책을 포함하는 영역 박스를 검출하여 책 영역의 박스 크기를 측정하고, 박스의 크기와 핸드 장치(10)와 객체 사이의 거리 관계를 산출하는 산출 함수에 근거하여 핸드 장치(10)와 책 사이의 거리를 추정하는 방법이 사용될 수 있으나, 이에 제한되는 것은 아니다.
사용자 반응 판단부(140)는 핸드 장치(10)와 가상 객체 사이의 거리에 따라 사용자 반응을 판단할 수 있다. 거리가 설정된 제1 임계값보다 크면 사용자의 반응을 ‘참여’로 판단하고, 거리가 설정된 제1 임계값보다 작으면 사용자의 반응을 ‘비참여’로 판단할 수 있다.
사용자 반응 판단부(140)는 사용자의 반응이 ‘참여’로 판단된 경우, 핸드 장치(10)와 특정 가상 객체 사이의 거리를 제2 임계값과 비교하는 단계를 더 포함할 수 있다. 구체적으로는, 사용자가 핸드 장치(10)를 여러 가상 객체 중 특정 가상 객체에 가까이 하여 특정 가상 객체와 핸드 장치(10) 사이의 거리가 제2 임계값보다 작아지는 경우 해당 가상 객체에 대한 사용자 반응은 ‘활성’으로, 거리가 제2 임계값보다 큰 경우 해당 가상 객체에 대한 사용자 반응은 ‘비활성’으로 판단될 수 있다. 그러나 사용자 반응을 판단함에 있어서 제1 임계값, 제2 임계값 외에도 다양한 임계값이 설정되어 사용될 수 있는 것으로, 이에 제한되는 것은 아니다.
사용자 반응 판단부(140)는 사용자의 반응이 ‘종료’로 판단되는 경우, 핸드 장치(10)의 시스템 수행을 종료시키는 신호를 핸드 장치(10)로 전달할 수 있다. 이때, ‘종료’로 판단될 수 있는 사용자의 반응은 사용자가 미리 데이터베이스에 ‘종료’로 판단하고자 하는 신호를 설정하여 사용할 수 있다.
사용자 반응 판단부(140)는 핸드 장치(10)와 가상 객체 사이의 거리 정보를 이용하여 사용자 반응을 판단하는 것 외에도 핸드 장치(10)로 직접적으로 입력되는 신호로부터 사용자 신호를 인지 및 선별하여 사용자 반응을 판단하는 기능을 포함할 수 있다. 이때, 사용자 반응 판단부(140)는 입력된 사용자 신호가 음성 신호인 경우, 해당 음성 신호에 대응되는 반응 정보를 가상 객체 반응부(150)로 전송할 수 있다. 예를 들어, 사용자가 특정 객체의 호칭을 음성 신호로 입력하는 경우 해당 객체에 대한 사용자 반응이 ‘활성’으로 전환될 수 있으나, 음성 신호 외에도 다양한 신호를 통해 객체를 활성화 시킬 수 있는 것으로 이에 제한되는 것은 아니다.
가상 객체 반응부(150)는 사용자 반응 판단부(140)로부터 사용자의 반응 정보를 입력받은 후, 입력되는 사용자 반응에 따라 가상 객체를 변환시킬 수 있다. 사용자 반응이 ‘비참여’인 경우 가상 객체는 아무런 반응을 하지 않고, 사용자 반응이 ‘참여’인 경우에만 가상 객체들이 정해진 동작을 취하게 할 수 있다. 모든 가상 객체는 ‘활성’ 또는 ‘비활성’의 사용자 반응을 가질 수 있으며, 사용자 반응이 ‘활성’에 해당되는 가상 객체는 특정 동작을 취하거나, 사용자에게 메시지를 전달함으로써 반응할 수 있다.
가상 객체 반응부(150)는 가상 객체 변환 신호를 가상 객체 생성부(130)로 전달하여, 증강되어 있는 가상 객체를 변형시키는 형태로 작동될 수 있다. 이때, 가상 객체를 변형시키는 방법으로는 가상 객체의 형태를 변환시키는 방법이 사용될 수 있으나, 가상 객체 변환 신호는 사용자가 설정해 둔 시나리오에 따라 다양하게 생성 가능한 것으로 이에 제한되는 것은 아니다.
디스플레이부(160)는 가상 객체 생성부(130)에서 생성되거나 변형된 가상 객체를 시각 디스플레이 장치 또는 청각 디스플레이 장치 중 적어도 어느 하나를 통해 표현할 수 있다. 시각 디스플레이 장치로는 영상 획득부(110)에서 획득된 실제 환경(5)에 가상 객체 생성부(130)에 의하여 제공되는 2차원 또는 3차원 이미지, 홀로그램(hologram), 혹은 동영상 형태의 가상 객체가 증강되어 출력될 수 있다. 시각 디스플레이 장치는 예를 들어 LCD 모니터이거나, 빔 프로젝터와 스크린일 수 있으며, 가상 객체를 시각적으로 표현할 수 있는 장치라면 모두 포함되는 것으로 전술한 바에 한정되는 것은 아니다. 청각 디스플레이 장치로는 가상 객체 또는 그의 움직임에 대응하는 청각적 음향 효과가 출력될 수 있다. 책(3)이 움직이거나 가상 객체가 변형되는 경우, 가상 객체는 다른 위치에서 증강되어 출력될 수 있다.
도 2는 본 발명의 일실시예에 따른 디지로그 북 시스템의 객체 정보 추출부(120) 구성을 개략적으로 나타낸 구성도이다. 도 2를 참조하면, 객체 정보 추출부(120)는 영상 획득부(110)로부터 전달 받은 영상 정보로부터 객체 정보를 분리하는 객체 정보 분리부(112), 분리된 객체 정보를 데이터베이스와 매칭하여 대응되는 가상 객체를 탐색하는 가상 객체 탐색부(114), 객체 정보 분리부(112)로부터 분리된 객체 정보를 사용자 반응 판단부(140)로 전송하고, 가상 객체 탐색부(114)에서 탐색된 가상 객체 정보를 가상 객체 생성부(130)로 전송하는 객체 정보 전송부(116)를 포함할 수 있다.
객체 정보 분리부(112)는 영상 획득부(110)로부터 전달 받은 영상 정보 전체로부터 증강될 가상 객체에 관한 정보를 분리할 수 있다. 가상 객체에 관한 정보를 분리하기 위해서는 일반적인 객체 검출/추적 기법이 사용될 수 있다. 예를 들어 탬플렛 매칭 방법(Template matching method), 블록 모션 방법(Block motion method), 어파인 변환기법(Affine trnasform method) 또는 활성 경계 모델(Active Contour method) 등이 사용될 수 있으나 이에 제한되는 것은 아니다.
가상 객체 탐색부(114)는 객체 정보 분리부(112)로부터 분리된 객체에 대응되는 가상 객체를 데이터베이스로부터 탐색할 수 있는데, 신속한 탐색을 위해 객체의 특징점 정보와 가상 객체 정보를 포함하고 있는 테이블을 미리 데이터베이스화하여 사용할 수 있다. 이때, 객체의 특징점 정보는 영상 정보로부터 획득된 객체의 특징(feature) 값을 의미하는 것으로, 예를 들어 SIFT 알고리즘이 사용되는 경우 키포인트(keypoint) 값이 사용될 수 있으나, 이에 제한되는 것은 아니다.
객체 정보 전송부(116)는 객체 정보 분리부(112)로부터 분리된 객체 정보는 사용자 반응 판단부(140)로, 가상 객체 탐색부(114)에서 탐색된 가상 객체 정보는 가상 객체 생성부(130)로 전송할 수 있다. 이때, 사용자 반응 판단부(140)로 전달되는 객체 정보에는 객체의 특징 정보 외에도 위치 정보가 포함될 수 있다.
도 3은 본 발명의 일실시예에 따른 디지로그 북 시스템의 사용자 반응 판단부(140)의 구성을 개략적으로 나타낸 구성도이다. 도 3을 참조하면, 사용자 반응 판단부(140)는 핸드 장치(10)와 가상 객체 사이의 거리 정보를 추출하는 거리 정보 추출부(142), 거리 정보를 이용하여 사용자의 참여 여부를 판단하는 사용자 참여 판단부(144), 핸드 장치(10)와 각 가상 객체들 사이의 거리 정보를 이용하여 사용자가 각 가상 객체를 선택했는지 여부를 판단하는 객체 활성 판단부(146)를 포함할 수 있다.
거리 정보 추출부(142)는 객체 정보 전송부(116)로부터 전달받은 객체 정보를 기반으로 핸드 장치(10)와 객체 사이의 거리 정보를 추출할 수 있다. 핸드 장치(10)와 객체 사이의 거리 정보를 추출하기 위해서는 책(3)과 핸드 장치(10)의 위치 정보가 사용될 수 있는데, 예를 들어 책(3) 전체의 3차원 자세를 추정하고, 이를 기반으로 책의 회전 정보와 위치 정보를 포함하는 데이터를 구축한 후, 구축된 데이터를 기반으로 핸드 장치(10)와 책(3) 사이의 6자유도(X(수평), Y(수직), Z(깊이), 피치(pitch), 요(yaw), 롤(roll)) 값을 구하여 거리 정보를 추출할 수 있다.
사용자 참여 판단부(144)는 거리 정보 추출부(142)로부터 추출된 거리 정보를 이용하여 사용자의 참여 형태를 판단할 수 있으며, 객체 활성 판단부(146)는 각 객체의 활성 여부를 판단할 수 있다. 이때, 객체 활성 판단부(146)는 여러 개의 객체 중 핸드 장치(10)와의 거리가 가장 가까운 객체를 ‘활성’으로 판단할 수 있다. 그러나 사용자의 단일한 동작에 의하여 복수의 객체가 ‘활성’으로 판단될 수 있는 것으로 이에 제한되는 것은 아니다.
사용자 참여 판단부(144) 및 객체 활성 판단부(146)의 판단 결과는 가상 객체 반응부(150)로 전송되어 가상 객체의 반응을 유도할 수 있다.
도 4는 본 발명의 일실시예에 따른 디지로그 북 구현 방법을 나타낸 흐름도이다. 도 4를 참조하면, 본 발명의 일실시예에 따른 디지로그 북 시스템 구현 방법은 핸드 장치를 이용하여 책을 포함한 실제 환경에 대한 영상을 획득하는 영상 획득 단계(S410), 획득된 영상으로부터 객체 정보를 추출하는 객체 정보 추출 단계(S420), 추출된 객체 정보에 대응되는 가상 객체를 생성하는 가상 객체 생성 단계(S430), 핸드 장치와 가상 객체 사이의 거리 정보를 추출하고, 이를 통해 사용자의 반응을 판단하는 사용자 반응 판단 단계(S440), 사용자 반응에 따라 가상 객체를 변환시키는 가상 객체 반응 단계(S450) 및 가상 객체를 디스플레이하는 디스플레이 단계(S460)을 포함할 수 있다.
본 발명의 일실시예에 따르면, 영상 획득 단계(S410), 객체 정보 추출 단계(S420), 가상 객체 생성 단계(S430), 사용자 반응 판단 단계(S440), 가상 객체 반응 단계(S450) 및 디스플레이 단계(S460)에서는 각각 영상 획득부(110), 객체 정보 추출부(120), 가상 객체 생성부(130), 사용자 반응 판단부(140), 가상 객체 반응부(150) 및 디스플레이부(160)의 기능이 수행될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (15)

  1. 카메라가 부착된 핸드 장치와 객체 정보를 포함하는 책을 이용하는 디지로그 북 시스템에 있어서,
    상기 핸드 장치를 이용하여 책을 포함한 실제 환경에 대한 영상을 획득하는 영상 획득부;
    상기 영상 획득부에서 획득된 상기 영상으로부터 객체 정보를 추출하는 객체 정보 추출부;
    상기 객체 정보에 대응되는 가상 객체를 생성하는 가상 객체 생성부;
    상기 핸드 장치와 상기 가상 객체 사이의 거리 정보를 추출하고, 이를 통해 사용자의 반응을 판단하는 사용자 반응 판단부;
    상기 사용자 반응에 따라 상기 가상 객체를 변환시키는 가상 객체 반응부; 및
    상기 가상 객체를 디스플레이하는 디스플레이부를 포함하며,
    상기 사용자 반응 판단부는
    상기 가상 객체와 상기 핸드 장치 사이의 거리를 제1 임계값과 비교하여 사용자의 참여 여부를 판단하며,
    상기 가상 객체와 상기 핸드 장치 사이의 거리를 제2 임계값과 비교하여 객체의 활성화 여부를 판단하는 것을 특징으로 하는 디지로그 북 시스템.
  2. 제1항에 있어서,
    상기 객체 정보는 객체의 3차원 자세정보인 것을 특징으로 하는 디지로그 북 시스템.
  3. 제1항에 있어서,
    상기 객체 정보를 추출하는 방법으로는, 마커 인식 방법 또는 프레임 매칭 방법이 사용되는 것을 특징으로 하는 디지로그 북 시스템.
  4. 제1항에 있어서,
    상기 객체 정보 추출부는 상기 영상 획득부로부터 전달 받은 영상 정보로부터 객체 정보를 분리하는 객체 정보 분리부;
    상기 분리된 객체 정보를 데이터베이스와 매칭하여 대응되는 가상 객체를 탐색하는 가상 객체 탐색부; 및
    상기 객체 정보를 사용자 반응 판단부로 전송하고, 상기 가상 객체 정보를 가상 객체 생성부로 전송하는 객체 정보 전송부를 포함하는 것을 특징으로 하는 디지로그 북 시스템.
  5. 제1항에 있어서,
    상기 가상 객체 생성부는 상기 가상 객체를 상기 실제 환경에 중첩하여 디스플레이 가능한 신호로 변환한 후 상기 디스플레이부로 전송하는 것을 특징으로 하는 디지로그 북 시스템.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 사용자 반응 판단부는 상기 핸드 장치에 입력된 사용자 신호를 이용하여 사용자의 반응을 판단하는 것을 특징으로 하는 디지로그 북 시스템.
  9. 제8항에 있어서,
    상기 사용자 신호는 상기 핸드 장치에 입력되는 음성 신호인 것을 특징으로 하는 디지로그 북 시스템.
  10. 제1항에 있어서,
    상기 가상 객체 반응부는 사용자 반응에 따라 가상 객체의 형태를 변환시키는 것을 특징으로 하는 디지로그 북 시스템.
  11. 제1항에 있어서,
    상기 디스플레이부는 시각 디스플레이 장치 및 청각 디스플레이 장치 중 어느 하나 이상의 장치를 포함하는 것을 특징으로 하는 디지로그 북 시스템.
  12. 제11항에 있어서,
    상기 시각 디스플레이 장치는 실제 환경에 3차원 가상 객체가 증강된 영상을 출력하는 것을 특징으로 하는 디지로그 북 시스템.
  13. 삭제
  14. 제1항에 있어서,
    상기 영상 획득부, 객체 정보 추출부, 가상 객체 생성부, 사용자 반응 판단부 및 가상 객체 반응부는 상기 핸드 장치에 구비된 하드웨어 내부에서 구현되는 것을 특징으로 하는 디지로그 북 시스템.
  15. 카메라가 부착된 핸드 장치와 객체 정보를 포함하는 전자책을 이용하는 디지로그 북 구현 방법에 있어서,
    상기 핸드 장치를 이용하여 책을 포함한 실제 환경에 대한 영상을 획득하는 영상 획득 단계;
    상기 획득된 영상으로부터 객체 정보를 추출하는 객체 정보 추출 단계;
    상기 추출된 객체 정보에 대응되는 가상 객체를 생성하는 가상 객체 생성 단계;
    상기 핸드 장치와 상기 가상 객체 사이의 거리 정보를 추출하고, 이를 통해 사용자의 반응을 판단하는 사용자 반응 판단 단계;
    상기 사용자 반응에 따라 상기 가상 객체를 변환시키는 가상 객체 반응 단계; 및
    상기 가상 객체를 디스플레이하는 디스플레이 단계를 포함하며,
    상기 사용자 반응 판단 단계는,
    상기 가상 객체와 상기 핸드 장치 사이의 거리를 제1 임계값과 비교하여 사용자의 참여 여부를 판단하는 단계 및
    상기 가상 객체와 상기 핸드 장치 사이의 거리를 제2 임계값과 비교하여 객체의 활성화 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 디지로그 북 구현 방법.
KR1020130099182A 2013-08-21 2013-08-21 객체와 핸드 장치 사이의 거리 정보를 활용하는 디지로그 북 시스템 및 구현 방법 KR101520889B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130099182A KR101520889B1 (ko) 2013-08-21 2013-08-21 객체와 핸드 장치 사이의 거리 정보를 활용하는 디지로그 북 시스템 및 구현 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130099182A KR101520889B1 (ko) 2013-08-21 2013-08-21 객체와 핸드 장치 사이의 거리 정보를 활용하는 디지로그 북 시스템 및 구현 방법

Publications (2)

Publication Number Publication Date
KR20150021791A KR20150021791A (ko) 2015-03-03
KR101520889B1 true KR101520889B1 (ko) 2015-05-15

Family

ID=53020022

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130099182A KR101520889B1 (ko) 2013-08-21 2013-08-21 객체와 핸드 장치 사이의 거리 정보를 활용하는 디지로그 북 시스템 및 구현 방법

Country Status (1)

Country Link
KR (1) KR101520889B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102144580B1 (ko) * 2017-09-15 2020-08-13 주식회사 케이티 복수의 레이어를 표시하는 증강 현실 장치, 방법 및 컴퓨터 프로그램
KR101864717B1 (ko) * 2017-10-16 2018-06-05 주식회사 스탠스 오브젝트 조립 형상에 따른 무(無)마커 맞춤공간표출형 증강현실 컨텐츠 형성장치 및 방법
US11450044B2 (en) 2019-03-20 2022-09-20 Kt Corporation Creating and displaying multi-layered augemented reality

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101083408B1 (ko) * 2010-01-18 2011-11-14 (주)엔시드코프 인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101083408B1 (ko) * 2010-01-18 2011-11-14 (주)엔시드코프 인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
모바일환경 증강현실 콘텐츠 현장저작 인터페이스, 한국콘텐츠학회논문지 제10권제7호(2010.7)*

Also Published As

Publication number Publication date
KR20150021791A (ko) 2015-03-03

Similar Documents

Publication Publication Date Title
CN108874126B (zh) 基于虚拟现实设备的交互方法及系统
KR102328349B1 (ko) 인체 윤곽 키 포인트 검출 방법, 이미지 처리 방법, 장치 및 기기
US10664060B2 (en) Multimodal input-based interaction method and device
CN108525305B (zh) 图像处理方法、装置、存储介质及电子设备
Sonkusare et al. A review on hand gesture recognition system
Li et al. A web-based sign language translator using 3d video processing
US20130335318A1 (en) Method and apparatus for doing hand and face gesture recognition using 3d sensors and hardware non-linear classifiers
CN106774850B (zh) 一种移动终端及其交互控制方法
Qiang et al. SqueezeNet and fusion network-based accurate fast fully convolutional network for hand detection and gesture recognition
KR100682987B1 (ko) 선형판별 분석기법을 이용한 3차원 동작인식 장치 및 그방법
KR20130099317A (ko) 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법
US10950056B2 (en) Apparatus and method for generating point cloud data
CN103092334B (zh) 虚拟鼠标驱动装置及虚拟鼠标仿真方法
WO2017084319A1 (zh) 手势识别方法及虚拟现实显示输出设备
KR102234646B1 (ko) 가상 현실 체험 장치 및 방법
CN107066081B (zh) 一种虚拟现实系统的交互控制方法和装置及虚拟现实设备
US20170140215A1 (en) Gesture recognition method and virtual reality display output device
CN112991555B (zh) 数据展示方法、装置、设备以及存储介质
Mehrotra et al. Indian sign language recognition using kinect sensor
CN106200942B (zh) 信息处理方法及电子设备
CN113359986A (zh) 增强现实数据展示方法、装置、电子设备及存储介质
KR101520889B1 (ko) 객체와 핸드 장치 사이의 거리 정보를 활용하는 디지로그 북 시스템 및 구현 방법
KR101543287B1 (ko) 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템 및 구현 방법
JP2016099643A (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN111160308A (zh) 手势动作识别方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180425

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190429

Year of fee payment: 5