KR20080075932A - 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관장치 그 제어방법 - Google Patents

음성 및 영상 인식을 이용하여 주인을 알아보고 주인과대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관장치 그 제어방법 Download PDF

Info

Publication number
KR20080075932A
KR20080075932A KR1020070003192A KR20070003192A KR20080075932A KR 20080075932 A KR20080075932 A KR 20080075932A KR 1020070003192 A KR1020070003192 A KR 1020070003192A KR 20070003192 A KR20070003192 A KR 20070003192A KR 20080075932 A KR20080075932 A KR 20080075932A
Authority
KR
South Korea
Prior art keywords
voice
owner
face
aquarium
image
Prior art date
Application number
KR1020070003192A
Other languages
English (en)
Inventor
김경선
양춘석
권철중
Original Assignee
(주)에이치씨아이랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에이치씨아이랩 filed Critical (주)에이치씨아이랩
Priority to KR1020070003192A priority Critical patent/KR20080075932A/ko
Publication of KR20080075932A publication Critical patent/KR20080075932A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification

Abstract

본 발명은 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치 그 제어방법을 제공하기 위한 것으로, 가상수족관 디스플레이부를 통한 디스플레이를 제어하고, 입력되는 음성과 영상의 처리를 제어하는 제어부와; 상기 제어부의 제어를 받아 가상의 수생 동물과 가상수족관의 주변 환경을 디스플레이하는 가상수족관 디스플레이부와; 상기 제어부의 제어를 받고, 사용자가 입력한 버튼 값을 상기 제어부로 전달하는 버튼 입력부와; 카메라로부터 입력된 영상을 처리하여 상기 제어부로 전달하는 영상 처리부와; 상기 영상 처리부로 촬영된 영상을 전달하는 카메라와; 상기 제어부의 제어를 받고, 음성을 처리하며, 스피커와 연결된 음성처리부와; 상기 음성처리부에서 처리된 음성을 출력하는 스피커;를 포함하여 구성함으로서, 마이크와 카메라를 통해 입력되는 음성과 영상을 가지고 화자인식, 음성대화, 움직임 검출, 얼굴 인식, 제스처 인식을 이용하여 가상 수족관 내의 수생 동물이 주인을 알아 본다거나 사용자의 특정 행동에 반응을 보이도록 할 수 있게 되는 것이다.
디지털 수족관, 음성 인식, 영상 인식, 대화형 인터페이스, 상호 연동

Description

음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치 그 제어방법{Apparatus and control method for digital aquarium for recognition of owner by voice and image and for conversational interface and mutually connection}
도 1은 본 발명의 일 실시예에 의한 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치의 블록구성도이다.
도 2는 본 발명의 다른 실시예에 의한 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치의 블록구성도이다.
도 3은 도 1 또는 도 2에 의해 디지털 수족관의 구현시 제어부가 내장된 형태의 정면도이다.
도 4는 도 1 또는 도 2에 의해 디지털 수족관의 구현시 제어부가 외장된 형태의 정면도이다.
도 5는 본 발명의 일 실시예에 의한 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치의 제어방법을 보인 흐름도이다.
도 6은 도 5에서 얼굴 등록 시의 동작예를 보인 상세흐름도이다.
도 7은 도 5에서 얼굴 등록 삭제 시의 동작예를 보인 상세흐름도이다.
도 8은 도 5에서 얼굴 등록 수정 시의 동작예를 보인 상세흐름도이다.
도 9는 도 5에서 일체형 디지털 수족관 장치에 대한 메인메뉴의 출력예를 보인 개념도이다.
도 10은 도 6 또는 도 8의 얼굴 등록/수정 과정 중 일체형 디지털 수족관 장치에 대해 사용자이름 입력란의 사용자이름을 입력하는 예를 보인 개념도이다.
도 11은 도 6 내지 도 8의 얼굴 등록/삭제/수정 과정 중 일체형 디지털 수족관 장치에 대해 수생 동물 선택 예를 보인 개념도이다.
도 12는 도 6 내지 도 8의 얼굴 등록/삭제/수정 과정 중 분리형 디지털 수족관 장치에 대해 수생 동물 선택 예를 보인 개념도이다.
도 13은 도 6 내지 도 8의 얼굴 등록/삭제/수정 과정 중 일체형 디지털 수족관 장치에 대해 수생동물과 이름을 확인하는 예를 보인 개념도이다.
도 14는 도 6 또는 도 8의 얼굴 등록/수정 과정 중 일체형 디지털 수족관 장치에 대해 얼굴 이미지를 입력하여 얼굴을 등록하는 예를 보인 개념도이다.
도 15는 본 발명의 다른 실시예에 의한 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치의 제어방법을 보인 흐름도이다.
* 도면의 주요 부분에 대한 부호의 설명 *
10 : 제어부
20 : 가상수족관 디스플레이부
21 : 수생 동영상
22 : 메뉴 화면
23 : 얼굴 인식 등록 메뉴
24 : 얼굴 등록 삭제 메뉴
25 : 얼굴 등록 수정 메뉴
26 : 사용자이름 입력란
27 : 수생 동물 선택
28 : 카메라 입력 얼굴 영상
29 : 확인 버튼 - 마우스
30 : 버튼 입력부
31 : 메뉴 버튼
32 : 수생 동물 선택 버튼(+) - 버튼
33 : 수생 동물 선택 버튼(-) - 버튼
34 : 수생 동물 선택 버튼(+) - 마우스
35 : 수생 동물 선택 버튼(-) - 마우스
40 : 영상 처리부
41 : 영상 인터페이스부
42 : 움직임 검출부
43 : 얼굴 인식부
44 : 시선 추적부
45 : 제스처 인식부
50 : 카메라
60 : 음성 처리부
61 : 음성 인터페이스부
62 : 음성 합성부
63 : 음성 검출부
64 : 화자 인식부
65 : 음성 인식부
70 : 스피커
80 : 마이크
본 발명은 디지털 수족관에 관한 것으로, 특히 마이크와 카메라를 통해 입력되는 음성과 영상을 가지고 화자인식, 음성대화, 움직임 검출, 얼굴 인식, 제스처 인식을 이용하여 가상 수족관 내의 수생 동물이 주인을 알아 본다거나 사용자의 특정 행동에 반응을 보이도록 하기에 적당하도록 한 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치 그 제어방법에 관한 것이다.
종래에는 수족관의 형태가 큰 유리 저수조에 물을 담고 수생 동식물이 생활할 수 있는 수생 환경을 조성하여 수생 동식물을 키우는 형태로, 보통 수족관을 올려놓는 큰 틀을 만들어 바닥에 설치하였다.
하지만 최근에는 저수조의 두께를 얇게 만들고, 폭을 넓게 만들어 벽에 걸어 놓는 벽걸이형 수족관이 유행하고 있다. 벽에 걸린 벽걸이형 수족관은 마치 벽에 걸린 대형 디스플레이 장치에서 보여지는 디지털 수족관을 보는 듯한 느낌을 받게 된다.
그러나 이것은 어디까지나 디스플레이 장치가 아닌 실제 수족관이기 때문에 실제 물고기를 기르기 위해 공기를 주입하는 모터를 돌려야 하고, 먹이를 주고, 물을 적절한 때에 갈아 주어야 하는 관리가 필요하다. 또한 벽에 걸릴 수 있을 정도로 수족관이 얇아지기는 했지만, 수족관 자체의 부피를 어느 정도 이하로는 줄일 수가 없는 상태에 이를 수 있고, 그 종류에 따라 값비싼 수생 동물을 키워야 하며, 그리고 쉽게 장소를 바꿀 수가 없어 일정한 위치에서만 수족관을 설치하고 감상할 수 밖에 없는 문제가 있다.
그래서 최근에는 컴퓨터를 이용하여 특별한 관리가 필요 없고, 설치 자체도 자유로우며 저렴한 비용으로 수족관의 형태를 볼 수 있도록 하는 가상 수족관 프로그램이 개발 되어 다양한 종류의 가상 수족관을 가질 수 있게 되었다.
그러나 이러한 가상 수족관은 단순히 수생 동식물의 생활상을 화면에 뿌리는 데에 지나지 않다. 기존 실제 수족관에서 할 수 있었던 것들이 빠져 있는 것이다. 먹이를 줄 때 물고기들이 떼를 지어 움직이는 모습이나 사람이 나타나면 몇몇 물고기가 사람 앞에서 반응을 보이며 움직이는 모습을 보여 주었던 자연스러움으로 사람들의 정서를 함양할 수 있게 하던 기능들이 없어진 문제점이 있었다.
이에 본 발명은 상기와 같은 종래의 제반 문제점을 해결하기 위해 제안된 것으로, 본 발명의 목적은 마이크와 카메라를 통해 입력되는 음성과 영상을 가지고 화자인식, 음성대화, 움직임 검출, 얼굴 인식, 제스처 인식을 이용하여 가상 수족관 내의 수생 동물이 주인을 알아 본다거나 사용자의 특정 행동에 반응을 보이도록 할 수 있는 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치 그 제어방법을 제공하는데 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 일실시예에 의한 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치는,
가상수족관 디스플레이부를 통한 디스플레이를 제어하고, 입력되는 음성과 영상의 처리를 제어하는 제어부와; 상기 제어부의 제어를 받아 가상의 수생 동물과 가상수족관의 주변 환경을 디스플레이하는 가상수족관 디스플레이부와; 상기 제어부의 제어를 받고, 사용자가 입력한 버튼 값을 상기 제어부로 전달하는 버튼 입력부와; 카메라로부터 입력된 영상을 처리하여 상기 제어부로 전달하는 영상 처리부와; 상기 영상 처리부로 촬영된 영상을 전달하는 카메라와; 상기 제어부의 제어를 받고, 음성을 처리하며, 스피커와 연결된 음성처리부와; 상기 음성처리부에서 처리 된 음성을 출력하는 스피커;를 포함하여 이루어짐을 그 기술적 구성상의 특징으로 한다.
상기와 같은 목적을 달성하기 위하여 본 발명의 일실시예에 의한 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치의 제어방법은,
음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치의 제어부는 가상수족관 디스플레이부를 온 시키는 제 1 단계와; 상기 제 1 단계 후 얼굴 등록을 수행하고자 하면, 상기 제어부는 상기 가상수족관 디스플레이부에 출력된 메뉴화면에서 얼굴인식등록 메뉴를 이용하여 얼굴인식등록이 수행되도록 제 2 단계와; 상기 제 1 단계 후 얼굴 등록 삭제를 수행하고자 하면, 상기 제어부는 상기 가상수족관 디스플레이부에 출력된 메뉴화면에서 얼굴등록삭제 메뉴를 이용하여 얼굴등록삭제가 수행되도록 하는 제 3 단계와; 상기 제 1 단계 후 얼굴등록수정을 수행하고자 하면, 상기 제어부는 상기 가상수족관 디스플레이부에 출력된 메뉴화면에서 얼굴등록수정 메뉴를 이용하여 얼굴등록수정이 수행되도록 하는 제 4 단계;를 포함하여 수행함을 그 기술적 구성상의 특징으로 한다.
이하, 상기와 같은 본 발명, 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치 그 제어방법의 기술적 사상에 따른 일실시예를 도면을 참조하여 설명하면 다음과 같다.
도 1은 본 발명의 일 실시예에 의한 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치의 블록구성도이고, 도 2는 본 발명의 다른 실시예에 의한 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치의 블록구성도이다.
이에 도시된 바와 같이, 가상수족관 디스플레이부(20)를 통한 디스플레이를 제어하고, 입력되는 음성과 영상의 처리를 제어하는 제어부(10)와; 상기 제어부(10)의 제어를 받아 가상의 수생 동물과 가상수족관의 주변 환경을 디스플레이하는 가상수족관 디스플레이부(20)와; 상기 제어부(10)의 제어를 받고, 사용자가 입력한 버튼 값을 상기 제어부(10)로 전달하는 버튼 입력부(30)와; 카메라(50)로부터 입력된 영상을 처리하여 상기 제어부(10)로 전달하는 영상 처리부(40)와; 상기 영상 처리부(40)로 촬영된 영상을 전달하는 카메라(50)와; 상기 제어부(10)의 제어를 받고, 음성을 처리하며, 스피커(70)와 연결된 음성처리부(60)와; 상기 음성처리부(60)에서 처리된 음성을 출력하는 스피커(70);를 포함하여 구성된 것을 특징으로 한다.
상기 제어부(10)는, 상기 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치에서 내장형으로 이루어져 일체형으로 구성된 것을 특징으로 한다.
상기 제어부(10)는, 상기 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치에서 외장형으 로 이루어져 분리형으로 구성된 것을 특징으로 한다.
상기 버튼입력부(30)는, 메인메뉴가 상기 가상수족관 디스플레이부(20)에 출력되도록 하는 메뉴 버튼(31)과; 상기 가상수족관 디스플레이부(20)에 출력된 수생 동물을 선택하도록 하는 수생 동물 선택 버튼(+)(32) 및 수생 동물 선택 버튼(-)(33);를 포함하여 구성된 것을 특징으로 한다.
상기 버튼 입력부(30)는, 마우스에 의해 선택되는 수생 동물 선택 버튼(+)(34)과 마우스에 의해 선택되는 수생 동물 선택 버튼(-)(35)에 의한 입력값을 상기 제어부(10)로 전달하는 것을 포함하여 수행하는 것을 특징으로 한다.
상기 카메라(50)는, USB(Universal Serial Bus) 카메라인 것을 특징으로 한다.
상기 영상처리부(40)는, 상기 제어부(10)의 제어를 받고, 영상 데이터에 대한 인터페이스를 수행하는 영상 인터페이스부(41)와; 상기 카메라(50)를 통해 입력된 영상에서 움직임을 검출하여 상기 영상 인터페이스부(41)로 전달하는 움직임 검출부(42)와; 상기 카메라(50)를 통해 입력된 영상에서 얼굴을 인식하여 상기 영상 인터페이스부(41)로 전달하는 얼굴 인식부(43)와; 상기 카메라(50)를 통해 입력된 영상에서 시선을 추적하여 상기 영상 인터페이스부(41)로 전달하는 시선 추적부(44)와; 상기 카메라(50)를 통해 입력된 영상에서 제스처를 인식하여 상기 영상 인터페이스부(41)로 전달하는 제스처 인식부(45);를 포함하여 구성된 것을 특징으로 한다.
상기 음성처리부(60)는, 상기 제어부(10)의 제어를 받고, 음성 데이터에 대 한 인터페이스를 수행하는 음성 인터페이스부(61)와; 상기 음성 인터페이스부(61)를 통해 전달된 음성을 합성하여 상기 스피커(70)로 전달하는 음성 합성부(62);를 포함하여 구성된 것을 특징으로 한다.
상기 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치는, 음성을 입력받아 데이터로 변환시켜 상기 음성처리부(60)로 전달하는 마이크(80);를 더욱 포함하여 구성된 것을 특징으로 한다.
상기 음성처리부(60)는, 상기 마이크(80)에서 전달된 음성 데이터에서 음성을 검출하여 상기 음성 인터페이스부(61)로 전달하는 음성검출부(63)와; 상기 마이크(80)에서 전달된 음성 데이터에서 화자를 인식하여 상기 음성 인터페이스부(61)로 전달하는 화자인식부(64)와; 상기 마이크(80)에서 전달된 음성 데이터에서 음성을 인식하여 상기 음성 인터페이스부(61)로 전달하는 음성인식부(65);를 더욱 포함하여 구성된 것을 특징으로 한다.
도 5는 본 발명의 일 실시예에 의한 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치의 제어방법을 보인 흐름도이다.
이에 도시된 바와 같이, 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치의 제어부(10)는 가상수족관 디스플레이부(20)를 온 시키는 제 1 단계(ST1)와; 상기 제 1 단계 후 얼굴 등록을 수행하고자 하면, 상기 제어부(10)는 상기 가상수족관 디스플레이 부(20)에 출력된 메뉴화면(22)에서 얼굴인식등록 메뉴(23)를 이용하여 얼굴인식등록이 수행되도록 제 2 단계(ST2, ST3)와; 상기 제 1 단계 후 얼굴 등록 삭제를 수행하고자 하면, 상기 제어부(10)는 상기 가상수족관 디스플레이부(20)에 출력된 메뉴화면(22)에서 얼굴등록삭제 메뉴(24)를 이용하여 얼굴등록삭제가 수행되도록 하는 제 3 단계(ST4, ST5)와; 상기 제 1 단계 후 얼굴등록수정을 수행하고자 하면, 상기 제어부(10)는 상기 가상수족관 디스플레이부(20)에 출력된 메뉴화면(22)에서 얼굴등록수정 메뉴(25)를 이용하여 얼굴등록수정이 수행되도록 하는 제 4 단계(ST6, ST7);를 포함하여 수행하는 것을 특징으로 한다.
도 6은 도 5에서 얼굴 등록 시의 동작예를 보인 상세흐름도이다.
이에 도시된 바와 같이, 상기 제 2 단계는, 상기 제어부(10)는 메뉴화면(22)에서 얼굴인식등록 메뉴(23)가 사용자에 의해 선택되도록 하는 제 11 단계(ST11)와; 상기 제 11 단계 후 상기 제어부(10)는 사용자이름 입력란(26)에 사용자의 이름이 입력되도록 하는 제 12 단계(ST12)와; 상기 제 12 단계 후 상기 제어부(10)는 사용자에 의해 수생동물선택(27)이 수행되도록 하는 제 13 단계(ST13)와; 상기 제 13 단계 후 상기 제어부(10)는 상기 가상수족관 디스플레이부(20)에 확인버튼(29)을 출력하여 사용자에 의해 수생동물과 이름확인이 수행되도록 하는 제 14 단계(ST14)와; 상기 제 14 단계 후 상기 제어부(10)는 카메라(50)를 통해 입력된 영상의 얼굴과 눈을 검출하여 얼굴의 특징 벡터를 만들어 사용자의 얼굴을 등록하는 제 15 단계(ST15)와; 상기 제 15 단계 후 상기 제어부(10)는 내부의 데이터베이스(Database, DB)에 수생동물의 인덱스 번호와 입력된 얼굴영상의 이름을 함께 저 장하는 제 16 단계(ST16);를 포함하여 수행하는 것을 특징으로 한다.
도 7은 도 5에서 얼굴 등록 삭제 시의 동작예를 보인 상세흐름도이다.
이에 도시된 바와 같이, 상기 제 3 단계는, 상기 제어부(10)는 메뉴화면(22)에서 얼굴인식삭제 메뉴(24)가 사용자에 의해 선택되도록 하는 제 21 단계(ST21)와; 상기 제 21 단계 후 상기 제어부(10)는 사용자에 의해 수생동물선택(27)이 수행되도록 하는 제 22 단계(ST22)와; 상기 제 22 단계 후 상기 제어부(10)는 상기 가상수족관 디스플레이부(20)에 확인버튼(29)을 출력하여 사용자에 의해 수생동물과 이름확인이 수행되도록 하는 제 23 단계(ST23)와; 상기 제 23 단계 후 상기 제어부(10)는 수생동물과 이름확인이 수행되면 해당하는 얼굴인식삭제가 완료되도록 하는 제 24 단계;를 포함하여 수행하는 것을 특징으로 한다.
도 8은 도 5에서 얼굴 등록 수정 시의 동작예를 보인 상세흐름도이다.
이에 도시된 바와 같이, 상기 제 4 단계는, 상기 제어부(10)는 메뉴화면(22)에서 얼굴인식수정 메뉴(24)가 사용자에 의해 선택되도록 하는 제 31 단계(ST31)와; 상기 제 31 단계 후 상기 제어부(10)는 사용자에 의해 수생동물선택(27)이 수행되도록 하는 제 32 단계(ST32)와; 상기 제 32 단계 후 상기 제어부(10)는 상기 가상수족관 디스플레이부(20)에 확인버튼(29)을 출력하여 사용자에 의해 수생동물과 이름확인이 수행되도록 하는 제 33 단계(ST33)와; 상기 제 33 단계 후 상기 제어부(10)는 수생동물과 이름확인이 수행되면 카메라(50)를 통해 입력된 영상의 얼굴과 눈을 검출하여 얼굴의 특징 벡터를 만들어 사용자의 얼굴을 등록하는 제 34 단계(ST34)와; 상기 제 34 단계 후 상기 제어부(10)는 내부의 데이터베이스에 수생 동물의 인덱스 번호와 입력된 얼굴영상의 이름을 함께 저장하는 제 35 단계(ST35);를 포함하여 수행하는 것을 특징으로 한다.
도 15는 본 발명의 다른 실시예에 의한 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치의 제어방법을 보인 흐름도이다.
이에 도시된 바와 같이, 제어부(10)는 가상수족관 디스플레이부(20)를 동작시키고, 카메라(50)로부터 입력되는 움직임 정보를 지속적으로 검색하여 등록된 얼굴이 검색되는지 판별하는 제 41 단계(ST41 ~ ST43)와; 상기 제 41 단계에서 등록된 얼굴이라고 판별되면, 얼굴이 등록된 사람의 움직임을 검출하고, 얼굴과 눈 정보를 검출하여 일치하는 이름을 추출하고, 추출된 이름에 해당하는 수생동물을 상기 가상수족관 디스플레이부(20)의 화면 앞으로 이동시키는 제 42 단계(ST44 ~ ST46)와; 상기 제 41 단계에서 등록된 얼굴이 아니라고 판별되거나 또는 상기 제 42 단계 수행 후 상기 제어부(10)는 사용자의 움직임 패턴을 검출하여 사용자의 움직임에 부응하는 동작을 수생동물이 실행하도록 상기 가상수족관 디스플레이부(20)의 표시동작을 제어하는 제 43 단계(ST47 ~ ST50);를 포함하여 수행하는 것을 특징으로 한다.
상기 제 43 단계는, 상기 제어부(10)는 사용자의 움직임 패턴을 검출하여 손을 흔드는 움직임이 있는지 판별하는 제 51 단계(ST47, ST48)와; 상기 제 51 단계에서 손을 흔드는 움직임이 있다고 판별되면, 상기 제어부(10)는 상기 가상수족관 디스플레이부(20)의 화면 전체에 먹이주는 화면이 출력되도록 하고, 수생동물이 먹 이 먹는 화면이 출력되도록 제어하는 제 52 단계(ST49, ST50);를 포함하여 수행하는 것을 특징으로 한다.
이와 같이 구성된 본 발명에 의한 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치 그 제어방법의 바람직한 실시예를 첨부한 도면에 의거하여 상세히 설명하면 다음과 같다. 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 판례 등에 따라 달라질 수 있으며, 이에 따라 각 용어의 의미는 본 명세서 전반에 걸친 내용을 토대로 해석되어야 할 것이다.
먼저 본 발명은 수족관의 느낌을 살릴 수 있는 가상 수족관을 보여 주는 가상 수족관 프로그램과 음성을 이용하여 주인 목소리를 인식하는 기능과 가상 물고기들과의 대화 인터페이스가 가능하게 하는 음성인식/음성합성 기능과 영상 처리 기술을 이용하여 사용자로 하여금 실제 수족관이라는 느낌을 최대한 살릴 수 있도록 사용자의 얼굴/시선을 찾고 사용자의 움직임에 수족관의 수생동물이 반응하도록 하고자 한 것이다.
그리고 종래기술의 한계점을 극복하기 위하여, 본 발명에서는 기존 디지털 수족관에서 사람과의 연관성이 없이 단순한 수생 동식물의 생활상을 보여 주는 것 에서 탈피해 수족관의 자연스러움을 최대한 살림과 동시에 사람과 물고기들의 상호 작용을 통해 자연에 한 층 더 가까이 서는 듯한 느낌을 가질 수 있게 한다.
그래서 본 발명에서는 가상수족관 디스플레이부(20)가 부착된 모든 장치에서 물고기, 수생 식물 등의 생활 모습이 동영상으로 화면에 보일 수 있도록 하는 가상 수족관 프로그램을 제어부(10)에 구비하고, 음성을 녹음할 수 있는 마이크(80)와 주인 여부를 판정하는 화자 인식 프로그램, 주인의 말을 알아듣는 음성인식 프로그램, 상대방에게 임의의 문장을 말로 바꾸어는 주는 음성합성 프로그램, 사람의 움직임 및 얼굴 영상을 입력 받을 수 있는 카메라와 입력된 얼굴 영상을 검출/인식할 수 있고 움직임을 검출하는 영상 인식 프로그램을 구비하고 있다.
이에 따라 평상시에는 수족관의 생활상을 화면에 보이면서 사람이 디스플레이 장치 윗부분에 설치된 카메라(50)에 다가서면 이미지로부터 사람의 얼굴을 검출해 내고 인식하여 자신이 기르고 있는 수생 동물을 찾는다. 수생 동물은 주인에게 가까이 다가와 주인을 보면서 입을 뻐끔거리며 어슬렁대면서 먹이를 줄 것을 표현한다. 주인이 인사의 표현으로 손을 좌우로 흔드는 움직임을 취하면 먹이가 자신의 수생 동물 주변에 뿌려주게 된다. 이처럼 디지털 수족관을 이용하여 고급스러운 수족관 분위기 연출과 실제 수족관에서 느껴질 수 있는 사람과의 수생 동물간의 자연스러운 교감을 느낄 수 있도록 지능화 된 수족관의 형태를 제공한다는 것을 특징으로 한다.
본 발명의 특징은, 전술한 바와 같이, 수족관의 느낌을 살릴 수 있는 가상 수족관을 보여 주는 가상 수족관 프로그램과 음성을 이용하여 주인 목소리를 인식 하는 기능과 가상 물고기들과의 대화인터페이스가 가능하게 하는 음성인식/음성합성 기능과 영상 처리 기술을 이용하여 사용자로 하여금 실제 수족관이라는 느낌을 최대한 살릴 수 있도록 사용자의 얼굴/시선을 찾고 사용자의 움직임에 수족관의 수생동물이 반응한다는 특징을 가지고 있다.
또한 본 발명의 다른 특징으로는 음성/영상 인식 프로그램을 이용하여 주인은 목소리와 얼굴을 사전에 등록하여 수생동물이 마이크(80)와 카메라(50)로 주인으로 알아 볼 수 있도록 하고, 복수의 주인은 각기 분양 받은 수생 동물을 관리할 수 있어 수생 동물을 주인이 키울 수 있게 한다는 것을 특징으로 한다.
이를 위해 먼저, 가상 수족관 디스플레이 프로그램은 디스플레이 장치(TV(디지털 TV 포함), PDA 화면, 휴대폰 등의 단말기 화면 등의 모든 디스플레이가 될 수 있는 장치)에 수생 동식물과 그 생활상을 동영상으로 나타내는 프로그램이다. 최근 유행하고 있는 대형 TV는 더욱더 고급스러운 수족관 분위기를 연출할 수 있을 것으로 보인다.
또한, 가상 수족관 디스플레이 프로그램은 영상 인식 프로그램과 연동하여 얼굴 인식, 움직임 검출에 따른 수생 동물의 제어, 먹이 주는 모습의 화면 제어가 가능하도록 되어야 한다.
그리고 본 발명의 영상 인식 프로그램은 크게 두 가지 부분으로 나눌 수 있는데, 자신의 수생 동물이 자신을 알아보게 할 수 있는 얼굴 인식 부분과 수생 동물들에게 먹이를 줄 수 있는 특정 움직임 검출 부분으로 나눌 수 있다. 얼굴 인식 부분에서는 얼굴을 등록하는 모듈, 얼굴을 검출하는 모듈, 그리고 얼굴을 인식 모 듈로 구성이 되어 있다. 얼굴 등록 시 자신의 수생 동물을 선택하여 등록할 수 있게 해 자신의 수생 동물을 키우는 듯한 느낌을 갖도록 한다. 특정 움직임 인식 부분은 특정 움직임에 대한 패턴을 검출하는 모듈, 특정 움직임을 인식하는 모듈로 구성이 되어 특정 움직임이 발생 했을 때 특정 화면을 보여 줄 수 있도록 수족관 디스플레이 화면을 제어할 수 있게 한다.
도 1은 본 발명의 일 실시예에 의한 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치의 블록구성도이다.
그래서 카메라(50)를 통해 입력 받은 영상을 가지고 움직임 검출과 얼굴 인식, 시선 맞춤, 동작 인식을 수행하는 영상 인터페이스부(41)와 스피커(70)를 통해 음성 합성을 수행하는 음성 인터페이스부(61)로 구성된다.
도 2는 본 발명의 다른 실시예에 의한 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치의 블록구성도이다.
그래서 도 2는 도 1의 구성요소 중 마이크(80)와 음성 입력을 처리하는 음성 검출부(63)와 화자 인식부(64), 음성 인식부(65)가 추가된 가상 수족관 장치를 보이고 있다.
그리고 움직임 검출부(42)와 음성 검출부(63)는 가상 수족관의 수행 시작 시점을 지정하며, 얼굴 인식부(43)와 화자 인식부(64)는 발성하고 있는 사람의 목소리와 얼굴로 주인 여부 및 주인을 식별할 수 있도록 하며, 시선 추적부(44)는 수생 동물이 주인의 얼굴을 마주 보고 자연스럽게 응답할 수 있도록 하며, 제스처 인식부(45)는 주인의 간단한 손 동작으로 수생 동물의 이동을 제어할 수 있으며, 음성 인식부(65)와 음성 합성부(62)로 수생동물과 상호 대화 인터페이스가 가능하게 할 수 있다.
도 3과 도 4는 영상 인식 디지털 수족관을 설명하기 위한 도면이다.
도 3은 카메라와 디스플레이 일체형으로써, 가상수족관 디스플레이부(20)에는 수족관의 자연스러운 생활상을 표현한 수생동영상(21)을 보일 수 있도록 되어 있으며, 화면의 위쪽 중앙에는 영상을 입력 받을 수 있는 카메라(50)가 설치되어 있다. 또한 카메라 일체형 디지털 디스플레이 영상 장치 안에는 별도의 프로그램 저장 장치인 제어부(10)가 구비되어 있어 가상 수족관 프로그램과 영상 인식 프로그램이 내장되어 있으며 이 프로그램을 작동시키기 위한 CPU(중앙 처리 장치) 장치를 내장하고 있다.
도 4는 도 3과 달리 디스플레이 장치와 별도의 카메라(50) 그리고 프로그램들이 별도의 프로그램 수행 장치인 외장형 제어부(10)에 저장되어 동작을 할 수 있도록 분리되어 있는 분리형의 영상 인식 수족관의 도면이다.
도 2에 비해 도 1은 기존 TV와 같은 대형 디스플레이 장치에 본 발명을 설치할 경우, 추가적인 카메라(50), 프로그램 수행 장치인 제어부(10)만으로 영상 인식 디지털 수족관을 사용할 수 있도록 하기 위한 시스템이다. 그러므로 가상수족관 디스플레이부(20)를 컴퓨터의 모니터로 이용할 경우 별도의 카메라(50) 장치만을 구비한다면 본 발명을 바로 적용할 수가 있다.
본 발명에 있어서 카메라(50)의 경우는 일반 PC(Personal computer)에서 사용할 수 있는 USB(Universal Serial Bus) 인터페이스용의 일반 웹 카메라를 이용한다. USB 카메라(50)는 320*240의 해상도 이상 지원이 가능하며, 마이크로소프트사의 윈도우, 또는 리눅스 OS(Operating System)를 가지고 있는 컴퓨터에서 작동할 수 있는 드라이버를 제공한다. 영상 인식 프로그램 또한 윈도우, 리눅스 또는 임베디드 프로그램(메모리 칩에 내장되는 내장형 프로그램)으로 제작 되어 카메라(50)에서 입력되는 영상 이미지를 전달 받을 수 있도록 한다. 카메라(50)의 영상 이미지로부터 영상 인식 프로그램의 얼굴 검출 모듈은 얼굴과 눈을 검출하고 얼굴 인식 모듈에 전달하여 얼굴을 등록하거나 얼굴을 인식하는데 사용하게 된다.
먼저, 도 5 및 도 6을 참조하여 얼굴 등록 과정을 설명하면 다음과 같다. 도 3의 일체형에서는 다음과 같다.
1. 사용자는 메뉴 버튼(31)을 누르면 도 9에서와 같이 메뉴 화면(22)을 볼 수 있다. 메뉴화면(22)에서 얼굴인식등록 메뉴(23)를 선택한다.
2. 도 10에서와 같이 사용자이름 입력란(26)에 사용자의 이름을 입력한다.
3. 도 11에서와 같이 수생동물선택 버튼(32, 33)을 이용하여 수생 동물을 선택(27)하고, 다시 메뉴 버튼(31)을 누른다(수생 동물이 선택되면서 얼굴 인식 모드 전환).
4. 수생 동물과 이름이 맞는지 확인하는 창이 뜨면, 메뉴 버튼(31)을 다시 누른다.
5. 영상 인식 프로그램이 내장된 제어부(10)는 카메라(50)를 통해 입력된 영 상의 얼굴영상(28)과 눈을 검출하여 얼굴의 특징 벡터를 만들어 얼굴 등록 알고리즘에 의해 입력된 얼굴을 등록한다.
6. 또한 영상 인식 프로그램은 DB에 수생 동물의 인덱스 번호와 입력된 얼굴 영상의 이름을 함께 저장한다.
도 4에서와 같이 가상수족관 디스플레이부(20), 카메라(50), 제어부(10)가 분리되어 있는 분리형에서는 프로그램 수행 장치인 제어부(10)에 의해 제어되는 마우스를 이용하여 얼굴 등록을 한다.
1. 마우스의 오른쪽 버튼을 누르면 도 12에서 보는 바와 같이 메뉴 화면을 볼 수 있다. 그 중 얼굴 인식 등록 메뉴를 선택한다.
2. 도 12에서와 같이 이름 입력란에 사용자의 이름을 입력한다.
3. 또한 도 12에서 수생 동물을 마우스로 수생 동물 선택 버튼(34, 35)을 클릭하여 수생 동물을 선택(27)한다.
4. 수생 동물과 이름이 맞는지 확인하는 창이 뜨면, 확인 버튼을 누른다.
5. 영상 인식 프로그램인 제어부(10)는 카메라(50)를 통해 입력된 영상의 얼굴(28)과 눈을 검출하여 얼굴의 특징 벡터를 만들어 얼굴 등록 알고리즘에 의해 입력된 얼굴을 등록한다.
6. 또한 영상 인식 프로그램은 DB에 수생 동물의 인덱스 번호와 입력된 얼굴 영상의 이름을 함께 저장한다.
7. 등록을 완료한다.
두 번째로 얼굴 등록 삭제 과정을 도 5 및 도 7을 참조하여 설명하면 다음과 같다. 일체형일 경우를 괄호로 설명한다.
1. 분리형에서 마우스의 오른쪽 버튼을 누르면(일체형일 경우 메뉴 버튼(31)을 누른다), 도 9에서 보는 바와 같이 메뉴 화면(22)을 볼 수 있다. 그 중 얼굴 등록 삭제 메뉴(24)를 선택한다.
2. 도 10에서 등록 시 입력한 이름과 도 11 및 도 12에서 선택한 수생동물이 출력된다. 그래서 도 11 및 도 12의 화면이 나오면 수생 동물 선택 버튼(버튼 값이 입력되도록 하는 32, 33 또는 마우스 값이 입력되도록 하는 34, 35)을 이용하여 수생 동물을 선택한다.
3. 도 13의 화면이 나타나면 선택한 수생 동물과 이름이 맞는지 확인하고, 확인 버튼(29)을 마우스로 누른다(일체형일 경우 메뉴 버튼(31)을 누른다).
세 번째로 얼굴 등록 수정 과정을 도 5 및 도 8을 참조하여 설명하면 다음과 같다. 일체형일 경우를 괄호로 설명한다.
1. 분리형에서 마우스의 오른쪽 버튼을 누르면(일체형일 경우 메뉴 버튼(31)을 누른다), 도 9에서 보는 바와 같이 메뉴 화면(22)을 볼 수 있다. 그 중 얼굴 등록 수정 메뉴(25)를 선택한다.
2. 도 10에서 수정할 이름을 입력하고 도 11 및 도12와 같은 화면이 나타나면 수생 동물 선택 버튼(32, 33 또는 34, 35)을 이용하여 수생 동물을 선택한다.
3. 도 13의 화면이 나타나면 선택한 수생 동물과 이름이 맞는지 확인하고, 확인 버튼(29)을 마우스로 누른다(일체형일 경우 메뉴 버튼(31)을 누른다).
4. 도 14에서와 같이 화면의 얼굴 영상을 확인하면서 카메라(50)에 얼굴을 가까이 하거나 멀리 하면서 다양한 각도의 얼굴을 등록한다.
5. 영상 인식 프로그램은 카메라(50)를 통해 입력된 영상의 얼굴(28)과 눈을 검출하여 얼굴의 특징 벡터를 만들어 얼굴 등록 알고리즘에 얼굴을 새롭게 등록한다.
6. 영상 인식 프로그램은 DB에 수생 동물의 인덱스 번호와 입력된 얼굴 영상의 이름을 함께 저장한다.
본 발명에 있어서 수생 동식물의 화면은 바다, 산호초, 강, 또는 일반적인 어항, 수족관의 수생 동식물의 생활상으로 구성되어 있다.
다음은 수족관에 디스플레이 되는 영상이 영상 인식 프로그램과 어떻게 상호 연동되는지에 대한 과정을 도 15를 참조하여 설명하면 다음과 같다.
1. 평상시 수족관 디스플레이 프로그램은 수생 동식물의 생활상을 보여 주면서 영상 인식 프로그램의 제어를 기다리고 있다.
2. 영상 인식 프로그램은 평상시 카메라(50)로부터 입력되는 움직임 정보를 지속적으로 검색하고 있다.
<얼굴이 등록된 사람에 대한 과정>
3. 얼굴이 등록된 사람이 카메라(50) 앞으로 가까이 오게 되면, 영상 인식 프로그램의 움직임 검출 모드에서는 움직임 양에 대한 정보를 찾아 화면의 움직임을 검출해 낸다.
4. 움직임이 검출되면 얼굴 검출 모드로 자동 전환되어 도 12에서와 같이 검출 알고리즘에 의해 1.5m 안에 있는 사람의 얼굴과 눈을 검출한다. 검출된 얼굴은 얼굴 인식 모듈로 입력되어 얼굴 등록 시 함께 입력 하였던 이름을 결과로 출력한다.
5. 얼굴 인식 결과인 이름을 인덱스로 수생동물의 인덱스 ID를 검색하여 수족관 디스플레이 프로그램에 전달한다.
6. 수생 동물의 ID는 수족관 디스플레이 프로그램에 전달되고 같은 ID를 가진 수생동물이 사용자 앞으로 움직일 것을 명령한다.
7. 수생동물은 얼굴 인식과 함께 사용자 앞으로 다가와 사용자 앞에서 맴돌기도 하고, 사용자 앞에서 머리를 흔드는 시늉을 하거나 입을 뻐끔거린다.
8. 영상 인식 프로그램은 얼굴 인식 후 움직임 검출 모드로 전환을 하고 움직임의 패턴을 찾기 시작한다.
9. 사용자가 수생 동물을 향해 손을 좌우로 흔드는 특정 움직임을 취한다.
10. 손을 좌우로 흔드는 특정 움직임에 대한 패턴이 카메라(50)에 입력되면, 영상 인식 프로그램은 특정 움직임 검출을 수행한다.
11. 손을 흔드는 특정 움직임이 검출되면, 전체 수족관에 먹이를 주는 화면이 보여지도록 가상 수족관 프로그램에 명령을 내린다.
12. 가상 수족관 프로그램은 명령을 받아 전체 수족관에 먹이가 떨어지면서 수생 동물들이 먹이를 먹는 화면을 보이도록 한다.
<얼굴이 등록되지 않은 사람에 대한 과정>
3. 얼굴이 등록된 사람이 카메라(50) 앞으로 가까이 오게 되면, 영상 인식 프로그램의 움직임 검출 모드에서는 움직임 양에 대한 정보를 찾아 화면의 움직임 을 검출해 낸다.
4. 움직임이 검출되면 얼굴 검출 모드로 자동 전환되어 도 12에서와 같이 검출 알고리즘에 의해 1.5m 안에 있는 사람의 얼굴과 눈을 검출한다. 검출된 얼굴은 얼굴 인식 모듈로 입력되지만 얼굴 인식 실패를 결과로 출력한다.
5. 영상 인식 프로그램은 바로 움직임 검출 모드로 전환을 하고 움직임의 패턴을 찾기 시작한다.
6. 사용자가 수생 동물을 향해 손을 좌우로 흔드는 특정 움직임을 취한다.
7. 영상 인식 프로그램의 특정 움직임 검출 모듈은 카메라(50)로 입력되는 특정 움직임을 포착하고 전체 수족관에 먹이를 주는 화면이 보여지도록 가상 수족관 프로그램에 명령을 내린다.
8. 가상 수족관 프로그램은 명령을 받아 전체 수족관에 먹이가 떨어지면서 수생 동물들이 먹이를 먹는 화면을 보이도록 한다.
영상 인식 프로그램의 특정 움직임 또는 형태 검출은 다양한 화면을 추가적으로 구성할 수 있게끔 만든다. 오른쪽 방향 왼쪽 방향 등의 위치를 가리키는 움직임을 취하면 그 방향으로 수생 동물들을 이동시킬 수 있으며, 수생 동물들을 깜짝 놀라게 하는 움직임으로 수생 동물들을 놀라게 해서 피하게끔 화면을 구성할 수도 있다.
이처럼 본 발명은 마이크와 카메라를 통해 입력되는 음성과 영상을 가지고 화자인식, 음성대화, 움직임 검출, 얼굴 인식, 제스처 인식을 이용하여 가상 수족관 내의 수생 동물이 주인을 알아 본다거나 사용자의 특정 행동에 반응을 보이도록 하게 되는 것이다.
이상에서 살펴본 바와 같이, 본 발명에 의한 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치 그 제어방법은 수족관의 느낌을 살릴 수 있는 가상 수족관을 보여 주는 가상 수족관 프로그램과 음성을 이용하여 주인 목소리를 인식하는 기능과 가상 물고기들과의 대화 인터페이스가 가능하게 하는 음성인식/음성합성 기능과 영상 처리 기술을 이용하여 사용자로 하여금 실제 수족관이라는 느낌을 최대한 살릴 수 있도록 사용자의 얼굴/시선을 찾고 사용자의 움직임에 수족관의 수생동물이 반응하도록 할 수 있는 효과가 있게 된다.
또한 본 발명에 의한 디지털 수족관은 가정 또는 공공 장소에서 TV(Television) 또는 모니터에 적용할 수 있다. 디지털 TV 등의 대형 TV의 디스플레이를 이용하여 본 발명을 적용할 경우, TV에서 방송을 시청하지 않을 때 디지털 수족관 화면을 보임으로써 좀 더 고급스러운 분위기 연출이 가능하다. 가상의 디지털 수족관에 사람이 다가서면 주인을 알아보면서 수생동물이 움직인다거나 특정 행동으로 수족관의 화면 영상이 바뀌는 것들은 실제 수족관에 다가서서 느끼는 것처럼 사용자는 교감을 느낄 수가 있다. 이는 실제 수족관을 갖지 않더라고 실제 수족관을 느낄 수가 있어 수족관 설치의 경제적 효과를 볼 수 있다. 관리적인 면에서도 많은 시간을 할애하여 관리를 할 필요가 없으며, 수생 동물을 사기 위한 비용을 따로 지불하지 않아도 된다. 또한 PDA(Personal Digital Assistant, 휴대용 정보단말 기), 휴대폰과 같은 휴대용 단말기에 적용 시 사용자와의 인터페이스를 강화함과 동시에 수생 동물을 키운다는 엔터테인먼트(Entertainment) 요소를 부각시켜 새로운 컨텐츠 요소로 확대시킬 수가 있다.
이상에서 본 발명의 바람직한 실시예에 한정하여 설명하였으나, 본 발명은 이에 한정되지 않고 다양한 변화와 변경 및 균등물을 사용할 수 있다. 따라서 본 발명은 상기 실시예를 적절히 변형하여 응용할 수 있고, 이러한 응용도 하기 특허청구범위에 기재된 기술적 사상을 바탕으로 하는 한 본 발명의 권리범위에 속하게 됨은 당연하다 할 것이다.

Claims (16)

  1. 가상수족관 디스플레이부를 통한 디스플레이를 제어하고, 입력되는 음성과 영상의 처리를 제어하는 제어부와;
    상기 제어부의 제어를 받아 가상의 수생 동물과 가상수족관의 주변 환경을 디스플레이하는 가상수족관 디스플레이부와;
    상기 제어부의 제어를 받고, 사용자가 입력한 버튼 값을 상기 제어부로 전달하는 버튼 입력부와;
    카메라로부터 입력된 영상을 처리하여 상기 제어부로 전달하는 영상 처리부와;
    상기 영상 처리부로 촬영된 영상을 전달하는 카메라와;
    상기 제어부의 제어를 받고, 음성을 처리하며, 스피커와 연결된 음성처리부와;
    상기 음성처리부에서 처리된 음성을 출력하는 스피커;
    를 포함하여 구성된 것을 특징으로 하는 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치.
  2. 청구항 1에 있어서,
    상기 제어부는,
    상기 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치에서 내장형으로 이루어져 일체형으로 구성된 것을 특징으로 하는 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치.
  3. 청구항 1에 있어서,
    상기 제어부는,
    상기 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치에서 외장형으로 이루어져 분리형으로 구성된 것을 특징으로 하는 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치.
  4. 청구항 1에 있어서,
    상기 버튼입력부는,
    메인메뉴가 상기 가상수족관 디스플레이부에 출력되도록 하는 메뉴 버튼과;
    상기 가상수족관 디스플레이부에 출력된 수생 동물을 선택하도록 하는 수생 동물 선택 버튼(+) 및 수생 동물 선택 버튼(-);
    를 포함하여 구성된 것을 특징으로 하는 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치.
  5. 청구항 1에 있어서,
    상기 버튼 입력부는,
    마우스에 의해 선택되는 수생 동물 선택 버튼(+)과 마우스에 의해 선택되는 수생 동물 선택 버튼(-)에 의한 입력값을 상기 제어부(10)로 전달하는 것을 포함하여 수행하는 것을 특징으로 하는 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치.
  6. 청구항 1에 있어서,
    상기 카메라는,
    USB 카메라인 것을 특징으로 하는 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치.
  7. 청구항 1에 있어서,
    상기 영상처리부는,
    상기 제어부의 제어를 받고, 영상 데이터에 대한 인터페이스를 수행하는 영상 인터페이스부와;
    상기 카메라를 통해 입력된 영상에서 움직임을 검출하여 상기 영상 인터페이스부로 전달하는 움직임 검출부와;
    상기 카메라를 통해 입력된 영상에서 얼굴을 인식하여 상기 영상 인터페이스 부로 전달하는 얼굴 인식부와;
    상기 카메라를 통해 입력된 영상에서 시선을 추적하여 상기 영상 인터페이스부로 전달하는 시선 추적부와;
    상기 카메라를 통해 입력된 영상에서 제스처를 인식하여 상기 영상 인터페이스부로 전달하는 제스처 인식부;
    를 포함하여 구성된 것을 특징으로 하는 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치.
  8. 청구항 1에 있어서,
    상기 음성처리부는,
    상기 제어부의 제어를 받고, 음성 데이터에 대한 인터페이스를 수행하는 음성 인터페이스부와;
    상기 음성 인터페이스부를 통해 전달된 음성을 합성하여 상기 스피커로 전달하는 음성 합성부;
    를 포함하여 구성된 것을 특징으로 하는 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치.
  9. 청구항 1 내지 청구항 8 중 어느 하나의 항에 있어서,
    상기 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치는,
    음성을 입력받아 데이터로 변환시켜 상기 음성처리부로 전달하는 마이크;
    를 더욱 포함하여 구성된 것을 특징으로 하는 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치.
  10. 청구항 9에 있어서,
    상기 음성처리부는,
    상기 마이크에서 전달된 음성 데이터에서 음성을 검출하여 상기 음성 인터페이스부로 전달하는 음성검출부와;
    상기 마이크에서 전달된 음성 데이터에서 화자를 인식하여 상기 음성 인터페이스부로 전달하는 화자인식부와;
    상기 마이크에서 전달된 음성 데이터에서 음성을 인식하여 상기 음성 인터페이스부로 전달하는 음성인식부;
    를 더욱 포함하여 구성된 것을 특징으로 하는 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치.
  11. 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치의 제어부는 가상수족관 디스플레이부를 온 시키는 제 1 단계와;
    상기 제 1 단계 후 얼굴 등록을 수행하고자 하면, 상기 제어부는 상기 가상수족관 디스플레이부에 출력된 메뉴화면에서 얼굴인식등록 메뉴를 이용하여 얼굴인식등록이 수행되도록 제 2 단계와;
    상기 제 1 단계 후 얼굴 등록 삭제를 수행하고자 하면, 상기 제어부는 상기 가상수족관 디스플레이부에 출력된 메뉴화면에서 얼굴등록삭제 메뉴를 이용하여 얼굴등록삭제가 수행되도록 하는 제 3 단계와;
    상기 제 1 단계 후 얼굴등록수정을 수행하고자 하면, 상기 제어부는 상기 가상수족관 디스플레이부에 출력된 메뉴화면에서 얼굴등록수정 메뉴를 이용하여 얼굴등록수정이 수행되도록 하는 제 4 단계;
    를 포함하여 구성된 것을 특징으로 하는 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치의 제어방법.
  12. 청구항 11에 있어서,
    상기 제 2 단계는,
    상기 제어부는 메뉴화면에서 얼굴인식등록 메뉴가 사용자에 의해 선택되도록 하는 제 11 단계와;
    상기 제 11 단계 후 상기 제어부는 사용자이름 입력란에 사용자의 이름이 입 력되도록 하는 제 12 단계와;
    상기 제 12 단계 후 상기 제어부는 사용자에 의해 수생동물선택이 수행되도록 하는 제 13 단계와;
    상기 제 13 단계 후 상기 제어부는 상기 가상수족관 디스플레이부에 확인버튼을 출력하여 사용자에 의해 수생동물과 이름확인이 수행되도록 하는 제 14 단계와;
    상기 제 14 단계 후 상기 제어부는 카메라를 통해 입력된 영상의 얼굴과 눈을 검출하여 얼굴의 특징 벡터를 만들어 사용자의 얼굴을 등록하는 제 15 단계와;
    상기 제 15 단계 후 상기 제어부는 내부의 데이터베이스에 수생동물의 인덱스 번호와 입력된 얼굴영상의 이름을 함께 저장하는 제 16 단계;
    를 포함하여 구성된 것을 특징으로 하는 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치의 제어방법.
  13. 청구항 11에 있어서,
    상기 제 3 단계는,
    상기 제어부는 메뉴화면에서 얼굴인식삭제 메뉴가 사용자에 의해 선택되도록 하는 제 21 단계와;
    상기 제 21 단계 후 상기 제어부는 사용자에 의해 수생동물선택이 수행되도록 하는 제 22 단계와;
    상기 제 22 단계 후 상기 제어부는 상기 가상수족관 디스플레이부에 확인버튼을 출력하여 사용자에 의해 수생동물과 이름확인이 수행되도록 하는 제 23 단계와;
    상기 제 23 단계 후 상기 제어부는 수생동물과 이름확인이 수행되면 해당하는 얼굴인식삭제가 완료되도록 하는 제 24 단계;
    를 포함하여 구성된 것을 특징으로 하는 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치의 제어방법.
  14. 청구항 11 내지 청구항 13 중 어느 하나의 항에 있어서,
    상기 제 4 단계는,
    상기 제어부는 메뉴화면에서 얼굴인식수정 메뉴가 사용자에 의해 선택되도록 하는 제 31 단계와;
    상기 제 31 단계 후 상기 제어부는 사용자에 의해 수생동물선택이 수행되도록 하는 제 32 단계와;
    상기 제 32 단계 후 상기 제어부는 상기 가상수족관 디스플레이부에 확인버튼을 출력하여 사용자에 의해 수생동물과 이름확인이 수행되도록 하는 제 33 단계와;
    상기 제 33 단계 후 상기 제어부는 수생동물과 이름확인이 수행되면 카메라를 통해 입력된 영상의 얼굴과 눈을 검출하여 얼굴의 특징 벡터를 만들어 사용자의 얼굴을 등록하는 제 34 단계와;
    상기 제 34 단계 후 상기 제어부는 내부의 데이터베이스에 수생동물의 인덱스 번호와 입력된 얼굴영상의 이름을 함께 저장하는 제 35 단계;
    를 포함하여 구성된 것을 특징으로 하는 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치의 제어방법.
  15. 제어부는 가상수족관 디스플레이부를 동작시키고, 카메라로부터 입력되는 움직임 정보를 지속적으로 검색하여 등록된 얼굴이 검색되는지 판별하는 제 41 단계와;
    상기 제 41 단계에서 등록된 얼굴이라고 판별되면, 얼굴이 등록된 사람의 움직임을 검출하고, 얼굴과 눈 정보를 검출하여 일치하는 이름을 추출하고, 추출된 이름에 해당하는 수생동물을 상기 가상수족관 디스플레이부의 화면 앞으로 이동시키는 제 42 단계와;
    상기 제 41 단계에서 등록된 얼굴이 아니라고 판별되거나 또는 상기 제 42 단계 수행 후 상기 제어부는 사용자의 움직임 패턴을 검출하여 사용자의 움직임에 부응하는 동작을 수생동물이 실행하도록 상기 가상수족관 디스플레이부의 표시동작을 제어하는 제 43 단계;
    를 포함하여 구성된 것을 특징으로 하는 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치 의 제어방법.
  16. 청구항 15에 있어서,
    상기 제 43 단계는,
    상기 제어부는 사용자의 움직임 패턴을 검출하여 손을 흔드는 움직임이 있는지 판별하는 제 51 단계와;
    상기 제 51 단계에서 손을 흔드는 움직임이 있다고 판별되면, 상기 제어부는 상기 가상수족관 디스플레이부의 화면 전체에 먹이주는 화면이 출력되도록 하고, 수생동물이 먹이 먹는 화면이 출력되도록 제어하는 제 52 단계;
    를 포함하여 수행하는 것을 특징으로 하는 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과 대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관 장치의 제어방법.
KR1020070003192A 2007-01-11 2007-01-11 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관장치 그 제어방법 KR20080075932A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070003192A KR20080075932A (ko) 2007-01-11 2007-01-11 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관장치 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070003192A KR20080075932A (ko) 2007-01-11 2007-01-11 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관장치 그 제어방법

Publications (1)

Publication Number Publication Date
KR20080075932A true KR20080075932A (ko) 2008-08-20

Family

ID=39879276

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070003192A KR20080075932A (ko) 2007-01-11 2007-01-11 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관장치 그 제어방법

Country Status (1)

Country Link
KR (1) KR20080075932A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011065686A3 (en) * 2009-11-27 2011-11-10 Samsung Electronics Co., Ltd. Communication interface apparatus and method for multi-user and system
KR101123768B1 (ko) * 2009-07-14 2012-03-16 전국진 가상현실 낚시게임장치
KR101227883B1 (ko) * 2011-05-30 2013-01-30 김호진 사용자 동작／음성 기반 제어장치 및 이에 적용되는 사용자 동작／음성 기반 제어방법
KR102454833B1 (ko) * 2022-05-12 2022-10-14 (주)이브이알스튜디오 가상의 아쿠아리움의 이미지를 표시하는 디스플레이 장치, 및 디스플레이 장치와 통신 가능한 사용자 단말의 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10171424A (ja) * 1996-12-13 1998-06-26 Dentsu Tec:Kk ディスプレイ装置
JP2001036897A (ja) * 1999-07-16 2001-02-09 Sega Corp 映像表示システム
KR20050121126A (ko) * 2004-06-21 2005-12-26 에스케이 텔레콤주식회사 모션인식 아바타 서비스 방법 및 시스템
JP2006012082A (ja) * 2004-06-29 2006-01-12 Sony Corp 概念獲得装置及びその方法、並びにロボット装置及びその行動制御方法
KR20060056076A (ko) * 2004-11-19 2006-05-24 엘지전자 주식회사 Ｔｖ를 이용한 가상 수족관

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10171424A (ja) * 1996-12-13 1998-06-26 Dentsu Tec:Kk ディスプレイ装置
JP2001036897A (ja) * 1999-07-16 2001-02-09 Sega Corp 映像表示システム
KR20050121126A (ko) * 2004-06-21 2005-12-26 에스케이 텔레콤주식회사 모션인식 아바타 서비스 방법 및 시스템
JP2006012082A (ja) * 2004-06-29 2006-01-12 Sony Corp 概念獲得装置及びその方法、並びにロボット装置及びその行動制御方法
KR20060056076A (ko) * 2004-11-19 2006-05-24 엘지전자 주식회사 Ｔｖ를 이용한 가상 수족관

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101123768B1 (ko) * 2009-07-14 2012-03-16 전국진 가상현실 낚시게임장치
WO2011065686A3 (en) * 2009-11-27 2011-11-10 Samsung Electronics Co., Ltd. Communication interface apparatus and method for multi-user and system
CN102640084A (zh) * 2009-11-27 2012-08-15 三星电子株式会社 用于多用户和系统的通信接口设备和方法
US9799332B2 (en) 2009-11-27 2017-10-24 Samsung Electronics Co., Ltd. Apparatus and method for providing a reliable voice interface between a system and multiple users
KR101227883B1 (ko) * 2011-05-30 2013-01-30 김호진 사용자 동작／음성 기반 제어장치 및 이에 적용되는 사용자 동작／음성 기반 제어방법
KR102454833B1 (ko) * 2022-05-12 2022-10-14 (주)이브이알스튜디오 가상의 아쿠아리움의 이미지를 표시하는 디스플레이 장치, 및 디스플레이 장치와 통신 가능한 사용자 단말의 제어 방법

Similar Documents

Publication Publication Date Title
KR102014623B1 (ko) 화상 표시장치, 화제 선택 방법, 화제 선택 프로그램, 화상 표시 방법 및 화상 표시 프로그램
US8619160B2 (en) User-responsive, enhanced-image generation method and system
CN107894833B (zh) 基于虚拟人的多模态交互处理方法及系统
CN110609620B (zh) 基于虚拟形象的人机交互方法、装置及电子设备
WO2017215297A1 (zh) 云端互动系统及其多感知型智能机器人和感知互动方法
JP2019145108A (ja) 顔に対応する３次元アバターを用いて顔の動きが反映された３ｄアバターを含むイメージを生成する電子装置
CN110475069B (zh) 图像的拍摄方法及装置
CN107728482A (zh) 控制系统、控制处理方法及装置
US9639744B2 (en) Method for controlling and requesting information from displaying multimedia
CN109521927B (zh) 机器人互动方法和设备
CN111163906B (zh) 能够移动的电子设备及其操作方法
EP3705241A1 (en) Information processing device, information processing method, and program
CN114391163A (zh) 手势检测系统和方法
CN107658016B (zh) 用于老年保健陪伴的Nounou智能监护系统
CN109905593A (zh) 一种图像处理方法和装置
CN110737335B (zh) 机器人的交互方法、装置、电子设备及存储介质
CN110822641A (zh) 空调器及其控制方法、装置和可读存储介质
CN112905074B (zh) 交互界面展示方法、交互界面生成方法、装置及电子设备
JP2022169645A (ja) 装置及びプログラム等
KR20080075932A (ko) 음성 및 영상 인식을 이용하여 주인을 알아보고 주인과대화형 인터페이스 및 상호 연동이 가능한 디지털 수족관장치 그 제어방법
CN111176431A (zh) 一种音箱的投屏控制方法及音箱
KR20200092207A (ko) 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법
CN108037699B (zh) 机器人、机器人的控制方法和计算机可读存储介质
CN111506184A (zh) 化身呈现方法及电子设备
EP1157545A1 (en) Personality-based intelligent camera system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application