KR20040044316A - 가정용 로봇을 이용한 애완동물 로봇의 제공 장치 및 그방법 - Google Patents

가정용 로봇을 이용한 애완동물 로봇의 제공 장치 및 그방법 Download PDF

Info

Publication number
KR20040044316A
KR20040044316A KR1020020072820A KR20020072820A KR20040044316A KR 20040044316 A KR20040044316 A KR 20040044316A KR 1020020072820 A KR1020020072820 A KR 1020020072820A KR 20020072820 A KR20020072820 A KR 20020072820A KR 20040044316 A KR20040044316 A KR 20040044316A
Authority
KR
South Korea
Prior art keywords
pet
robot
user
home
voice
Prior art date
Application number
KR1020020072820A
Other languages
English (en)
Inventor
손영미
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020020072820A priority Critical patent/KR20040044316A/ko
Publication of KR20040044316A publication Critical patent/KR20040044316A/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Toys (AREA)

Abstract

본 발명은 애완동물 로봇 제공 장치 및 그 방법에 관한 것으로, 다수의 애완동물의 다수의 동작 관련 시나리오와 그에 따른 표정 이미지를 저장하고 있으며, 저장하고 있는 다수의 애완동물의 다수의 동작 관련 시나리오와 그에 따른 표정 이미지 전송 요구가 수신되면 다수의 애완동물의 다수의 동작 관련 시나리오와 그에 따른 표정 이미지를 전송하는 애완동물 정보 제공 서버와, 가정내에 위치하는 통신장비의 인터넷 접속을 제공하기 위한 홈 게이트웨이와, 상기 홈게이트웨이를 통하여 상기 애완동물 정보 제공 서버에 접속하여 다수의 애완동물의 다수의 동작 관련 시나리오 전송을 요구하고, 상기 애완동물 정보 제공 서버로부터 다수의 애완동물의 다수의 동작 관련 시나리오를 전송받아 저장하고 있으며, 사용자의 요청에 따라 저장된 특정 애완동물의 특정 동작 관련 시나리오를 실행시키고 그에 따른 애완동물의 표정을 클로즈업하여 표시하고 그에 따른 동작을 수행하는 가정용 로봇을 포함하여 이루어진다.
또한, 본 발명에 따르면, 추가적인 고가의 애완동물 로봇을 구입하지 않고도 일반 가정용 로봇에 애완 로봇의 기능을 간단하게 추가할 수 있도록 하여 애완동물이 움직이는 것과 같은 느낌을 같도록 하고, 사용자 인터페이스 면에서 더욱 친밀감을 느낄 수 있도록 한다.

Description

가정용 로봇을 이용한 애완동물 로봇의 제공 장치 및 그 방법{Pet robot apparatus using the home-robot and method thereof}
본 발명은 가정용 로봇을 이용한 애완동물 로봇 제공 장치 및 그 방법에 관한 것으로서, 특히 영상을 보여줄 수 있는 표시부를 가진 가정용 로봇의 표시부에 애완 동물의 표정을 보여주고 그에 따라 애완동물이 움직이는 것과 같이 로봇이 움직이도록 하는 가정용 로봇을 이용한 애완동물 로봇 제공 장치 및 그 방법에 관한 것이다.
현재 컴퓨터가 실용화, 대중화 된 세계에 살고 있는 현대인들은 갈수록 인간관계가 엷어지고, 개인생활이 중시되며, 자기만의 공간안에서 생활하는 시간이 많아진다.
이러한 생활 패턴 변환에 따른 고독감으로 인해 현대인들은 상당한 정신질환을 앓고 있기도 하다. 이에 대한 방편으로 많은 사람들이 애완동물을 기르는 경우가 많으나, 현실상 애완동물을 기를 상황이 되지 않는 사람도 많다.
즉, 가옥구조나 가족구성이 애완동물을 사육하기엔 어려운 형편이고, 시간적 제약이 있으며, 또 실제로 애완동물을 사육한다는 건 현대인의 감각으론 지저분하고 부담스러운 일이 될 수도 있고, 또한 기른다 할지라도 극히 일부동물에 한정되어 있다.
이에 따라, 약 97년대부터 '다마고치'라는 전자동물을 사육하는 장난감이 개발되어 현대인들 특히 고독감을 많이 느끼는 세대들에게 선풍적인 인기를 끈 적이 있었다.
이러한 다마고치 게임은 쉽게 휴대하고 다니면서 원하는 시간에 장소에 구애받지 않고 병아리의 성장 상태를 알 수 있으며 그에 따라 적절하게 양육에 필요한 작업들을 수행할 수 있다는 장점이 있다.
그러나, 다마고치 게임을 제공하는 장치가 휴대에 편리하도록 작게 만들어지고 그에 따라 여러가지 기능면에서 다양한 기능을 탑재하는데 한계가 있으며 작고 어두운 액정 화면은 사용자들에게 답답한 느낌을 주기도 하였다.
이러한 문제점을 해결하기 위하여 PC용 애완동물 육성시뮬레이션 게임이 제작 판매되었으며, 제작 판매되는 PC용 육성 시뮬레이션 게임은 애완동물이 컴퓨터에 상주하면서 컴퓨터 사용자와 유희를 즐기기도 하고, 컴퓨터 사용자가 작업하는 도중에는 컴퓨터의 한구석에서 낮잠을 자는 등 마치 살아있는 애완 동물처럼 행동한다.
그리고 이때 컴퓨터 사용자는 컴퓨터상의 애완동물에게 음식을 공급할 수도 있으며, 훈련을 시킬 수도 있다. 또한, 애완동물이 실제 동물과 같이 면역체계를 가지고 있어 병들어 죽기도 하고, 배도 고파하며, 단어도 학습시킬 수 있도록 되어 있다.
그러나, 상기 종래 기술에 따른 가상 공간상의 애완 동물들은 모두 정해진 형태를 가지고 있고, 그 움직임에 있어서도 정해진 동작을 연출하기 때문에, 사용자마다 새로운 형태와 움직임을 요구하는 다양성의 요청에 부응하기가 힘들다는 문제점이 있었다.
이러한 문제점을 해결하기 위하여 개량된 것으로, 컴퓨터를 이용하여 인터넷에 접속하여 자신이 택한 애완동물을 키우는 게임도 소개된 바 있다. 일종의 가상 시물레이션 게임인 사이버 애완동물 키우기 게임은 개인화, 획일화되고 사람들간의 직접적인 접촉이 줄어든 현대 사회의 사회적인 흐름을 잘 반영하고 있다.
이러한 사이버 애완동물 키우기 게임은 사이버 세계라는 비현실적인 존재에게 마음을 준다는 비판도 있지만 사용자가 키우는 방식에 따라 그 모양이나 성격이 바뀌기 때문에 실제 동물을 키우기 어려운 상황에 있거나 외로운 현대인들에게 뭔가 기를 수 있다는 정서적인 안정감을 주게 하는 장점이 있어 그 사용자가 점점 늘어나는 추세이다.
이러한 인기에 힘입어 사이버 애완동물 키우기 게임의 기술은 빠른 속도로 발전하고 있는데 심지어는 혼자서 단순하게 동물만 키우는 기존 게임에서 한 단계 더 발전해 이 게임은 일상적인 키우기 활동 외에도 다른 플레이어의 캐릭터와 친구를 맺거나 서로 팀웍을 이루어 전투를 치룰 수도 있을 정도로 발전하고 있으며, 네트워크 기술을 접목해 메신저 서비스 및 네트워크 전투 등도 제공한다.
또한, 다른 이용자가 키우는 애완동물과 결혼시키면 부모의 유전 형질을 받은 새로운 애완동물을 얻게 되는 게임도 소개되고 있으며, 동물 아바타 꾸미기, 채팅기능 지원 등 다양한 게임요소를 첨가해 사용자들이 다양한 재미를 즐길수 있는 사이버 애완동물 키우기 게임도 제공되고 있고, 웹상에서 3차원 애완 캐릭터를 키우면서 다른 사용자에게 e메일로 전송하여 여러 사람이 함께 즐길 수 있는 육성 게임시뮬레이션 사이트도 있으며, 이 게임은 2D가 아닌 3D라는 점과 e메일을 통해 자기 사이버 페트(pet)를 다른 사람이 대신 육성해 줄 수 있다는 점에서 관심을 모으고 있다.
그러나, 이와 같이 인터넷을 통한 애완동물 서비스의 경우는 애완동물이 컴퓨터내에서만 움직이게 되므로 사용자가 싫증을 느끼기가 쉽고, 애완동물을 기르기 위해서는 컴퓨터를 켜서 사이트에 접속해야 하는 불편한 점이 있었다.
또한, 사용자 인터페이이스 면에서도 인터넷을 사용하지 못하는 사람들은 사용이 불가능하다는 단점이 있으며, 유료서비스를 사용하려고 하는 경우에는 신용카드나 핸드폰으로 결재를 해야 하는 불편한 점이 있었다.
한편, 이러한 게임기의 단점을 극복하기 위한 것으로 애완동물 로봇이 있다.
소니사에서 발매한 애완동물 로봇은 상당한 지능을 가지고 실제 애완동물처럼 동작을 함으로써 많은 관심을 끌었으며, 마쓰시타전기가 선보인 고양이 로봇은 이보다 한 단계 앞서 사람과 대화를 나눌 수 있을 정도다.
또한, 애완동물 로봇은 춤을 추도록 할 수도 있고 내장된 카메라로 사용자가 애완동물 로봇의 시각에서 사물을 바라볼 수 있는 것은 물론 애완동물을 통해 사용자의 목소리를 전달할 수도 있게 되었으며, 정밀한 센서, 원격제어 장비 등을 갖춰 스스로 걷고 음성과 손벽명령에 반응하며 물구나무서기나 팔굽혀펴기와 같은재주도 부릴 줄 안다.
최근에는 인터넷에 접속시켜 장난감과 보안 및 메일 확인 기능 등 다양한 성능을 과시하는 네트워크 로봇이 속속 출시되고 있으며 이들 로봇은 최근 보급률이 높아진 가정용 PC와 초고속 통신망에 연계해 사용하며 일상생활에 필요한 기능 중 기존 가전제품이 갖지못한 기능을 부여했다는 점, 친숙한 애완동물에서 디자인을 착안했다는 점 등의 공통점을 갖고 있다.
그러나, 애완동물 로봇의 경우에는 일반인들이 구입하기에 고가이며, 또한 한번 구입하면, 구입자의 행동에 따라 지능이 발달하긴 하지만 그 외의 외적인 변화를 주거나 기능적인 변화를 주기가 힘들다는 문제점이 있었다.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위해서 안출된 것으로서, LED나 LCD 등 영상 표시부를 가지고 있는 로봇이 인터넷을 통하여 애완동물 사이트에 접속하여 원하는 종류의 애완동물을 전송받아 영상 표시부에 애완동물이 움직이는 모습을 나타내고 그에 따라 로봇이 함께 이동하면서 실제 애완동물이 움직이는 것과 같은 느낌이 가질 수 있도록 하여 로봇이 직접 다양한 움직임을 보여 줄 수 있도록 하는 가정용 로봇을 이용한 애완동물 로봇 제공 장치 및 그 방법을 제공하는 것을 그 목적으로 한다.
도 1은 본 발명의 일실시예에 따른 가정용 로봇을 이용한 애완동물 로봇의 제공 장치의 구성도이다.
도 2는 도 1의 로봇의 정면도이다.
도 3은 도 1의 로봇의 블럭도이다.
도 4는 본 발명의 일실시예에 따른 가정용 로봇을 이용한 애완동물 로봇의 제공 방법의 흐름도이다.
<도면의 주요부분에 대한 부호의 설명>
110 : 애완동물 정보 제공 서버 120 : 홈게이트웨이
130 : 가정용 로봇 201 : 영상 감지 센서
202 : 음성 감지 센서 203 : 스피커
204 : 표시부 205 : 장애물 검출 모듈
206 : 모터 어레이 207 : 영상 처리부
208 : 음성 처리부 209 : 주제어부
210 : 모션 처리부 211 : 자동충전 제어모듈
212 : 무선통신 모듈
상기와 같은 목적을 달성하기 위한 본 발명은, 다수의 애완동물의 다수의 동작 관련 시나리오와 그에 따른 표정 이미지를 저장하고 있으며, 저장하고 있는 다수의 애완동물의 다수의 동작 관련 시나리오와 그에 따른 표정 이미지 전송 요구가 수신되면 다수의 애완동물의 다수의 동작 관련 시나리오와 그에 따른 표정 이미지를 전송하는 애완동물 정보 제공 서버와, 가정내에 위치하는 통신장비의 인터넷 접속을 제공하기 위한 홈 게이트웨이와, 상기 홈게이트웨이를 통하여 상기 애완동물 정보 제공 서버에 접속하여 다수의 애완동물의 다수의 동작 관련 시나리오 전송을 요구하고, 상기 애완동물 정보 제공 서버로부터 다수의 애완동물의 다수의 동작 관련 시나리오를 전송받아 저장하고 있으며, 사용자의 요청에 따라 저장된 특정 애완동물의 특정 동작 관련 시나리오를 실행시키고 그에 따른 애완동물의 표정을 표시하고 그에 따른 동작을 수행하는 가정용 로봇을 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명에 따르면, 애완동물 정보 제공 서버, 홈게이트웨이, 가정용 로봇을 포함하여 이루어진 가정용 로봇을 이용한 애완동물 제공 장치에 있어서, 상기 가정용 로봇이 사용자의 요청에 따라 상기 애완동물 정보 제공 서버에 접속하여 다수의 애완동물의 다수의 동작 관련 시나리오를 전송받는 제 1 단계; 및 상기 가정용 로봇이 사용자의 특정 애완동물의 특정 동작 시나리오의 실행 요구에 응하여 저장된 특정 애완동물의 특정 동작 시나리오를 실행하여 시나리오에 따른 표정을 표시부에 클로우즈업하여 표시하고 동작 정보에 따라 모션을 수행하는 제 2 단계를 포함하여 이루어진 것을 특징으로 한다.
이제, 도 1 이하의 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하면 다음과 같다.
도 1은 본 발명의 일실시예에 따른 가정용 로봇을 이용한 애완동물 로봇의 제공 장치의 구성도이다.
도면을 참조하면, 본 발명의 일실시예에 따른 가정용 로봇을 이용한 애완동물 제공 장치는 애완동물 정보 제공 서버(110), 홈 게이트웨이(120), 가정용 로봇(130)을 구비하고 있다.
애완동물 정보 제공 서버(110)는 여러가지 종류의 애완동물의 동작 관련 시나리오와 그에 따른 표정 이미지를 데이터베이스에 저장하고 있으며, 회원 관련 정보를 데이터베이스에 저장하고 있다.
로봇(130)이 홈 게이트웨이(120)에 접속하여 인터넷을 통하여 서비스 제공을 요청하면 회원 인증을 수행한 후에 제공 가능한 애완동물의 목록을 제공하고 또한 각각의 애완동물의 하위목록으로 저장하고 있는 동작 관련 시나리오를 제공한다.
그리고, 애완동물 정보 제공 서버(110)는 사용자가 로봇(130)의 화면을 보면서 음성을 통하여 또는 터치스크린을 통하여 원하는 종류의 애완동물을 선택하고 그에 따른 시나리오를 선택하면 선택된 시나리오를 인터넷과 홈 게이트웨이(120)를 통하여 로봇(130)에 전송한다.
여기에서, 제공가능한 애완동물의 종류로는 강아지, 고양이, 햄스터 등 주로 육상 동물로서 걸어다니는 동물이 주를 이루겠지만 새나 기타 여러가지 동물을 다양하게 제공할 수 있다.
그리고, 동작 관련 시나리오로는 일예로 주인이 들어왔을 때 반기는 동작과 관련된 시나리오, 주인이 외출할 때 관련된 시나리오, 주인이 먹이를 주었을 때와 관련된 시나리오, 졸음이 왔을 때와 관련된 시나리오, 주인의 주의를 끌기 위한 행동과 관련된 시나리오 등 여러가지 시나리오가 가능하다.
이때, 각각의 시나리오에 있어 원한다면 간식, 미용용품, 장난감, 영양제 등을 제공하게 할 수 있으며, 이러한 제품을 제공하는데 있어서 구매시에 홈 게이트웨이(120)의 CAS 등의 결제 시스템을 이용하여 간단하게 결제할 수 있도록 할 수 있다.
홈 게이트웨이(120)는 로봇(130)이 인터넷에 연결되어 애완동물 정보 제공 서버(110)에 접속하는 것을 중재한다.
홈 게이트웨이(120)는 제한된 공개 IP 주소를 구비하여 사설 IP 주소를 갖는 홈네트워크 기기들(여기에서는 로봇을 포함하여)이 인터넷 연결된 사이트들에 접근할 수 있도록 중개한다.
이때 홈 게이트웨이(120)는 하나의 공개 IP 주소만이 할당되고, 홈네트워크에 연결된 기기들은 외부에서 인식하지 못하는 사설 IP가 할당된다.
따라서, 홈 네트워크에 연결된 홈 네트워크 기기들이 외부에서 정보를 수신하고자 할 때 홈게이트웨이(120)는 NAT(Network Address Translation)에 의해 네트워크 기기들의 사설 IP 주소를 자신의 공개 IP주소로 변환해야만 한다.
그리고, 홈게이트웨이(120)와 로봇(130)이 통신을 수행하기 위해서는협대역(Narrowband) 마이크로웨이브, 적외선(Infrared), 그리고 확산 대역(Spread Spectrum)을 기반으로 한 기술을 사용한다.
확산 대역과 협대역 무선 LAN은 ISM(Industrial, Scientific, Medical) 대역을 사용하며, 적외선 LAN은 가시광선 바로 아래의 주파수 대역을 사용한다. 산업, 과학, 의료계의 용도를 위해 지정된 ISM 대역은 902-928 MHz, 2.4-2.484 GHz, 5.725-5.850 GHz의 주파수 대역을 포함한다. 신호를 확산하는 확산 대역 방식을 사용할 경우 많은 주파수 대역을 사용하게 되어 그 효율은 떨어지지만 안정성과 신뢰성을 유지할 수 있기 때문에 현재 많은 상용화 제품이 확산 대역 전송 기술을 사용한다.
한편, 로봇(130)은 사용자의 음성 또는 터치스크린의 감지 신호에 따라 홈게이트웨이(120)를 통해서 애완동물 정보 제공 서버(110)에 접속하여 애완동물 서버(110)가 제공하는 제공가능한 애완동물의 목록을 전송받아 화면에 표시한다.
이때, 애완동물 서버(110)가 가정용 로봇(130)을 통하여 제공하는 애완동물 목록 화면에는 전체 선택 버튼을 구비하여 전체 동물을 모두 선택 가능하도록 하거나 각각의 애완동물별로 선택할 수 있도록 하는 선택 버튼을 구비하여 다수의 애완동물을 선택하여 선택된 다수의 애완동물의 제공가능한 동작 시나리오 전부를 다운로딩받아 저장하도록 할 수 있다.
또한, 로봇(130)은 사용자가 원하는 애완동물을 선택하면 선택된 애완동물의 제공가능한 시나리오 목록을 애완동물 정보 제공 서버(110)으로부터 전송받아 제공하고, 사용자가 시나리오 목록중 원하는 시나리오를 다수개 선택하면 선택된 시나리오를 애완동물 정보 제공 서버(110)로부터 전송받아 저장한다.
이때, 애완동물 정보 제공 서버(110)는 사용자가 특정 애완동물을 선택하면 전체 시나리오를 모두 전송받을 수 있는 전체 선택 버튼을 화면에 구비하도록 하여 사용자가 전제 시나리오 전부를 전송받아 저장하도록 할 수도 있으며, 각 시나리오별로 선택 버튼을 구비하도록 하여 다수의 시나리오를 전송받아 저장하도록 할 수도 있다.
이후에, 로봇(130)은 사용자가 애완동물 정보 제공 서버(110)로부터 전송받아 저장하고 있는 제공 가능한 애완동물 목록을 요구하면 저장하고 있는 제공 가능한 애완동물 목록을 사용자에게 제공하고, 사용자가 제공된 애완동물 목록중에서 원하는 애완동물을 선택하면, 선택된 애완동물의 제공 가능한 시나리오 목록을 사용자에게 제공한다.
그리고, 사용자가 로봇(130)이 제공하는 시나리오중에서 하나를 선택하여 시나리오 실행을 로봇(130)에 요구하면 로봇(130)은 선택된 시나리오를 실행하여 표시부에 애완동물의 표정을 클로즈업하여 표시하고, 그에 따른 동작을 모션처리부를 이용하여 수행한다.
여기에서는 애완동물의 목록에서 원하는 애완동물을 선택하고 그에 따른 동작 시나리오 목록에서 원하는 시나리오를 선택하도록 구현하였으나 이와 달리 동작 시나리오를 사용자가 음성등을 이용하여 선택하면 로봇(130)이 임의적으로 애완동물을 선택하고 선택된 애완동물의 해당 동작 시나리오를 실행하도록 할 수도 있다.
또는 로봇(130)이 상황에 맞추어 임의적으로 애완동물을 선택하고 선택된 애완동물의 특정 시나리오를 임의적으로 선택하여 해당 동작 시나리오를 실행하도록 할 수도 있다.
도 2는 도 1의 로봇의 정면도이고, 도 3은 도 1의 로봇의 블럭도로서, 영상 감지 센서(201), 음성 감지 센서(202), 스피커(203), 표시부(204), 장애물 검출 모듈(205), 모터어레이(206), 영상 처리부(207), 음성 처리부(208), 주 제어부(209), 모션 처리부(210), 자동충전 제어모듈(211), 무선통신모듈(212)로 구성되어 있다.
영상처리부(207)에서는 연결된 비디오 카메라와 같은 영상감지센서(201)로부터 들어온 화상정보를 화상처리기법을 사용하여 판단에 필요한 간단한 정보로 변형시켜 주제어부(209)에 전달하는 역할을 한다.
예를 들면 화자(話者)를 인식할 경우 화자의 얼굴모양 및 홍체의 화상정보를 영상감지센서(201)로부터 받아 특징들을 추출하여 주제어부(209)에 넘기면 상기 주제어부(209)에서는 확립되어 있는 정보를 바탕으로 화자의 정체를 인식하게 된다.
음성처리부(208)에서는 음성감지센서(202)로부터 들어온 소리를 음성과 비음성으로 구분하여 음성일 경우 음성인식 알고리즘을 이용하여 특징을 추출하고 비교하여 음성으로 내려진 명령을 인식하고 주제어부(209)로 전달함과 동시에 여러 개의 음성감지센서를 여러 방향을 향하도록 배치하여 음성이 들어온 방향도 인식할 수 있으며, 주제어부(209)에서 전달된 음성 메시지들을 스피커(203)를 통하여 외부로 방출하는 기능을 가지고 있다.
모션처리부(210)에서는 주제어부(209)에서 내려진 명령을 받아 모터어레이(206)를 제어하여 로봇을 이동시키고 머리를 회전하게 하며, 팔을 사용하여 물건을 집을 수 있도록 되어 있다.
주제어부(209)에서는 영상처리부(207)와 음성처리부(208)에서 들어온 정보와 장애물 검출센서(205)의 정보를 바탕으로 데이터를 처리하여 사용자의 요구에 대해서 응답을 결정하고 실행하며, 주제어부(213)에는 모니터를 포함하는 표시부(204)가 연결되어 있어 요구된 정보를 눈으로 확인할 수 있도록 표시하는 한편, 주제어부(209)에는 무선통신을 담당하는 무선통신모듈(212)이 내장되어 있어 가정 내에 설치되어 있는 홈 게이트웨이와 무선으로 데이터를 송수신할 수 있도록 되어 있다.
본 발명과 관련하여 사용자가 애완동물 정보 제공 서버에 접속하기 위하여 음성으로 애완동물 정보 제공 서버에 접속을 로봇에게 요구하면, 로봇의 음성감지센서(202)는 사용자의 음성을 감지하여 음성처리부(208)로 전송하고, 음성처리부(208)는 주제어부(208)로 처리된 음성을 전송한다.
여기에서는 음성을 이용하여 애완동물 정보 제공 서버에 접속하도록 구현하였으나 터치스크린을 이용하여 사용자가 터치스크린을 이용하여 애완동물 정보 제공 서버에 접속하도록 구현할 수 있다.
주제어부(209)는 무선통신모듈(212)을 이용하여 홈게이트웨이를 거쳐 애완동물 정보 제공 서버에 접속하여 제공가능한 애완동물 목록이 포함한 웹페이지를 전송받아 주제어부(209)로 전송하게 되며, 주 제어부(209)는 표시부(204)를 이용하여 제공가능한 애완동물 목록이 포함된 웹페이지를 디스플레이하게 된다.
그리고, 사용자가 제공가능한 애완동물의 목록에서 원하는 애완동물을 선택하면-전체를 선택할 수도 있고 다수를 선택할 수도 있다-그에 따라 주 제어부(209)는 무선통신모듈(212)을 통하여 애완동물 정보 제공 서버로 선택된 애완동물의 시나리오 목록 제공을 요청하고(이때 전체가 선택되거나 다수개의 애완동물이 선택된 경우에는 해당 애완동물의 제공 가능한 시나리오 전부를 다운로딩받아 저장하도록 구현할 수도 있다), 무선통신모듈(212)를 사용하여 애완동물의 시나리오 목록을 전송받아 표시부에 표시한다.
그리고, 사용자가 음성을 이용하여 제공 가능한 애완동물의 시나리오 목록에서 원하는 시나리오를 선택하면 음성 감지센서(202)가 사용자의 음성을 감지하여 음성처리부(208)로 전송하고, 음성처리부(208)는 음성처리 알고리즘에 따라 음성을 처리하여 처리된 음성을 주제어부(209)로 전송한다.
주 제어부(209)는 전송받은 음성에서 원하는 시나리오 목록을 추출하여 추출된 시나리오 목록에 따른 시나리오의 전송을 무선통신모듈(212)과 홈게이트웨이를 통하여 애완동물 정보 제공 서버로 요청하여 애완동물 정보 제공 서버로부터 선택된 시나리오를 전송받아 저장한다.
이후에, 사용자가 음성을 이용하여 제공 가능한 애완동물 목록을 요구하면 주제어부(209)는 제공 가능한 애완동물 목록을 표시부(204)에 표시한다.
그리고, 사용자가 음성을 이용하여 제공 가능한 애완동물 목록에서 시나리오 실행을 원하는 애완동물을 선택하면 주제어부(204)는 표시부(204)에 선택된 애완동물에 대한 제공 가능한 동작 시나리오 목록을 제공한다.
사용자가 제공 가능한 동작 시나리오 목록에서 원하는 동작 시나리오를 선택하면 주제어부(204)는 선택된 동작 시나리오를 실행하여 시나리오에 따른 표정을표시부(204)를 사용하여 클로즈업하여 디스플레이하고, 그에 따른 동작을 모션처리부(210)로 전송하여 동작이 수행되도록 한다.
모션처리부(210)에서는 주제어부(209)에서 내려진 명령을 받아 모터어레이(206)를 제어하여 로봇을 이동시키고 머리를 회전하게 하며, 팔을 움직이게 된다.
그리고, 각각의 시나리오에 있어 간식, 미용용품, 장난감, 영양제 등을 제공하게 할 수 있으며, 이러한 제품을 제공하는데 있어서 구매시에 홈 게이트웨이의 CAS 등의 결제 시스템을 이용하여 간단하게 결제할 수 있도록 할 수 있다.
도 4는 본 발명의 일실시예에 따른 가정용 로봇을 이용한 애완동물 로봇 제공 방법의 흐름도이다.
도면을 참조하면, 본 발명의 일실시예에 따른 가정용 로봇을 이용한 애완동물 로봇 제공 방법은, 먼저 사용자가 애완동물 정보 제공 서버에 접속을 요청하는 음성을 발하면 로봇이 사용자의 음성을 감지하여(단계 S110) 음성처리 알고리즘에 따라 음성 처리를 수행한 후에(단계 S112) 사용자의 요구에 응하여 홈게이트웨이를 통하여 애완동물 정보 제공 서버에 접속한다(단계 S114).
다음에, 애완동물 정보 제공 서버에 접속한 로봇이 제공 가능한 애완동물 목록이 포함된 웹페이지를 애완동물 정보 제공 서버로부터 전송받아 표시부에 표시한다(단계 S116).
이후에, 사용자가 표시부에 표시된 애완동물 목록을 보고 원하는 애완동물을 선택하여 원하는 애완동물 선택 음성을 발하면 로봇은 사용자의 애완동물 선택 음성을 감지하여(단계 S118), 음성처리 알고리즘에 따라 음성 처리를 수행한 후에 사용자의 요구에 응하여 애완동물 정보 제공 서버에 접속하여(단계 S120), 선택된 애완동물의 제공 가능한 시나리오 목록의 전송을 요청하고, 애완동물 정보 제공 서버로부터 제공 가능한 시나리오 목록을 전송받아 표시부에 표시한다(단계 S122).
다음에, 사용자가 로봇의 표시부에 표시된 제공 가능한 시나리오 목록에서 원하는 시나리오를 선택하여 시나리오 선택 음성을 발하면 로봇은 시나리오 선택 음성을 감지하여(단계 S124), 음성 처리 알고리즘에 따라 음성을 처리하여 사용자의 요구에 응하여 애완동물 정보 제공 서버에 접속하여(단계 S126), 시나리오를 전송받아 저장한다(단계 S128).
여기의 단계 S116~S128에서는 특정 애완동물의 특정 동작 시나리오를 전송받아 저장하도록 구현하였으나 이와 달리 단계 S116에서 애완동물의 목록을 표시할 때 전체 선택 버튼을 구비하도록 하거나 각각의 애완동물별로 선택 버튼을 구비하도록 하여 전체를 선택하거나 다수를 선택하도록 할 수 있으며, 사용자가 전체 애완동물을 선택하거나 다수의 애완동물을 선택한 경우에 선택된 애완동물의 제공 가능한 동작 시나리오를 전부 다운로딩받아 저장하도록 구현할 수도 있다.
또한, 단계 S122에서 제공 가능한 애완동물 동작 시나리오 목록을 전송받아 표시부에 표시할 때 전체 선택 버튼이나 각 동작 시나리오별로 선택 버튼을 구비하도록 하여 전체를 선택하거나 다수를 선택하도록 할 수 있으며, 사용자가 전체 동작 시나리오를 선택하거나 다수를 선택한 경우에 선택된 전체 또는 다수의 시나리오를 전부 전송받아 저장하도록 구현할 수도 있다.
이후에, 로봇은 사용자로부터 특정 애완동물과 특정 동작 시나리오를 선택하는 음성이 감지되는지를 판단하여(단계 S130), 특정 애완동물과 특정 동작 시나리오를 선택하는 음성이 감지되면 선택된 애완동물의 선택된 동작 시나리오를 실행하여 표정을 표시부에 클로즈업하여 표시하고, 동작 정보에 따른 모션을 수행한다(단계 132).
이때, 각각의 시나리오에 있어 원한다면 간식, 미용용품, 장난감, 영양제 등을 제공하게 할 수 있으며, 이러한 제품을 제공하는데 있어서 구매시에 홈 게이트웨이의 CAS 등의 결제 시스템을 이용하여 간단하게 결제할 수 있도록 할 수 있다.
또한, 여기에서는 사용자가 음성을 사용하여 모든 기능을 처리하도록 구현하였으나 사용자가 터치스크린을 사용하여 원하는 동작을 수행하도록 구현할 수 있다.
또한, 여기에서는 애완동물의 목록에서 원하는 애완동물을 선택하고 그에 따른 동작 시나리오 목록에서 원하는 시나리오를 선택하도록 구현하였으나 이와 달리 동작 시나리오를 사용자가 음성등을 이용하여 선택하면 로봇이 임의적으로 애완동물을 선택하고 선택된 애완동물의 해당 동작 시나리오를 실행하도록 할 수도 있다.
또는 로봇(130)이 상황에 맞추어 임의적으로 애완동물을 선택하고 선택된 애완동물의 특정 시나리오를 임의적으로 선택하여 해당 동작 시나리오를 실행하도록 할 수도 있다.
본 발명의 기술사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술분야의 통상의 전문가라면 본 발명의 기술사상의 범위에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.
상기와 같은 본 발명에 따르면, 추가적인 고가의 애완동물 로봇을 구입하지 않고도 일반 가정용 로봇에 애완 로봇의 기능을 간단하게 추가할 수 있도록 하여 애완동물이 움직이는 것과 같은 느낌을 같도록 하고, 사용자 인터페이스 면에서 더욱 친밀감을 느낄 수 있도록 하는 효과가 있다.
또한, 본 발명에 따르면, 애완동물 사이트에 접속하여 다운로드 받은 프로그램을 실행시켜, 이미 설정되어 있는 패턴에 따라서 컴퓨터 모니터 내에서 움직이던 단순함에서 벗어나 로봇이 직접 다양한 움직임을 보여 줄 수 있으며, 음성을 이용하여 인터넷에 접속할 수 있도록 함으로써 인터넷을 사용할 수 없는 장애인이나 인터넷을 사용할 줄 모르는 사람도 쉽게 인터넷을 사용할 수 있다.

Claims (9)

  1. 다수의 애완동물의 다수의 동작 관련 시나리오와 그에 따른 표정 이미지를 저장하고 있으며, 저장하고 있는 다수의 애완동물의 다수의 동작 관련 시나리오와 그에 따른 표정 이미지 전송 요구가 수신되면 다수의 애완동물의 다수의 동작 관련 시나리오와 그에 따른 표정 이미지를 전송하는 애완동물 정보 제공 서버;
    가정내에 위치하는 통신장비의 인터넷 접속을 제공하기 위한 홈 게이트웨이; 및
    상기 홈게이트웨이를 통하여 상기 애완동물 정보 제공 서버에 접속하여 다수의 애완동물의 다수의 동작 관련 시나리오 전송을 요구하고, 상기 애완동물 정보 제공 서버로부터 다수의 애완동물의 다수의 동작 관련 시나리오를 전송받아 저장하고 있으며, 사용자의 요청에 따라 저장된 특정 애완동물의 특정 동작 관련 시나리오를 실행시키고 그에 따른 애완동물의 표정을 클로즈업하여 표시하고 그에 따른 동작을 수행하는 가정용 로봇을 포함하여 이루어진 가정용 로봇을 이용한 애완동물 로봇의 제공 장치.
  2. 제 1 항에 있어서,
    상기 애완동물 정보 제공 서버는 각각의 시나리오에 있어 간식, 미용용품, 장난감, 영양제중 적어도 하나를 제공하고, 제공된 제품의 구매시에 상기 홈 게이트웨이의 CAS 결제 시스템을 이용하여 결제할 수 있도록 하는 것을 특징으로 하는 가정용 로봇을 이용한 애완동물 로봇의 제공 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 가정용 로봇은,
    사용자가 발하는 음성을 감지하기 위한 음성 감지 센서; 상기 음성 감지 센서로부터 감지된 음성을 음성과 비음성으로 구분하여 음성인 경우에는 음성처리 알고리즘을 이용하여 특징을 추출하고 비교하여 음성으로 내려진 명령을 인식하는 음성 처리부; 로봇을 이동시키고 머리를 회전하게 하며, 팔을 움직일 수 있도록 하는 모터 어레이; 상기 모터어레이를 제어하여 로봇을 이동시키고 머리를 회전하게 하며, 팔을 움직일 수 있도록 하는 모션 처리부; 상기 홈 게이트웨이에 접속을 제공하는 무선통신모듈; 영상을 표시하여 사용자가 인식할 수 있도록 하는 표시부; 메모리부 및 상기 음성 감지 센서와, 상기 음성처리부와, 상기 모터어레이와, 상기 모션 처리부와, 상기 무선통신모듈과, 상기 표시부와, 메모리부를 제어하는 제어부를 포함하며,
    상기 제어부는 상기 무선통신모듈을 통하여 상기 애완동물 정보 제공 서버에 접속하여 다수의 애완동물의 다수의 동작 관련 시나리오를 전송받아 상기 메모리에 저장하며, 상기 음성감지센서와 음성처리부를 통하여 사용자의 특정 동물의 특정 동작 관련 시나리오의 실행 요구를 수신하며, 사용자의 요청에 따라 특정 애완동물의 특정 동작 관련 시나리오를 실행시키고 그에 따른 애완동물의 표정을 표시부에 클로즈업하여 표시하고 그에 따른 동작을 모션처리부를 이용하여 수행하는 것을 특징으로 하는 가정용 로봇을 이용한 애완동물 로봇의 제공 장치.
  4. 제 3 항에 있어서,
    상기 표시부는 터치 스크린인 것을 특징으로 하며,
    상기 제어부는 상기 표시부의 터치 스크린을 이용하여 사용자의 요구를 수신하는 것을 특징으로 하는 가정용 로봇을 이용한 애완동물 제공 장치.
  5. 애완동물 정보 제공 서버, 홈게이트웨이, 가정용 로봇을 포함하여 이루어진 가정용 로봇을 이용한 애완동물 제공 장치에 있어서, 상기 가정용 로봇이 사용자의 요청에 따라 상기 애완동물 정보 제공 서버에 접속하여 다수의 애완동물의 다수의 동작 관련 시나리오를 전송받는 제 1 단계; 및
    상기 가정용 로봇이 사용자의 특정 애완동물의 특정 동작 시나리오의 실행 요구에 응하여 저장된 특정 애완동물의 특정 동작 시나리오를 실행하여 시나리오에 따른 표정을 표시부에 클로우즈업하여 표시하고 동작 정보에 따라 모션을 수행하는 제 2 단계를 포함하여 이루어진 가정용 로봇을 이용한 애완동물 제공 방법.
  6. 제 5 항에 있어서,
    상기 제 1 단계는,
    사용자가 상기 애완동물 정보 제공 서버에 접속을 요청하면 상기 가정용 로봇이 상기 애완동물 정보 제공 서버에 접속하여 접속한 상기 애완동물 정보 제공 서버로부터 제공 가능한 애완동물 목록을 전송받는 제 3 단계;
    상기 가정용 로봇이 제공 가능한 애완동물 목록을 사용자에게 제공하고, 사용자가 특정 애완동물을 선택하면 상기 애완동물 정보 제공 서버에 접속하여 제공가능한 동작 시나리오의 목록을 전송받는 제 4 단계; 및
    상기 가정용 로봇이 제공 가능한 동작 시나리오 목록을 사용자에게 제공하고, 사용자가 특정 동작 시나리오를 선택하면, 상기 애완동물 정보 제공 서버에 접속하여 시나리오를 전송받아 저장하는 제 5 단계를 포함하여 이루어진 가정용 로봇을 이용한 애완동물 제공 방법.
  7. 제 5 항 또는 제 6 항에 있어서,
    상기 가정용 로봇이 사용자로부터 명령을 수신하는 과정은,
    사용자가 음성을 발하면 상기 가정용 로봇이 사용자의 음성을 감지하고, 상기 가정용 로봇이 음성처리 알고리즘에 따라 음성 처리를 수행하여 명령을 검출하는 것을 특징으로 하는 가정용 로봇을 이용한 애완동물 제공 방법.
  8. 제 5 항 또는 제 6 항에 있어서,
    상기 가정용 로봇이 사용자로부터 명령을 수신하는 과정은,
    상기 가정용 로봇이 터치스크린을 구비하고 구비된 터치스크린을 사용자가 터치하면 터치 지점을 감지하여 명령을 수신하는 것을 특징으로 하는 가정용 로봇을 이용한 애완동물 제공 방법.
  9. 제 5 항 또는 제 6 항에 있어서,
    상기 애완동물 정보 제공 서버가 각각의 시나리오에 있어 간식, 미용용품, 장난감, 영양제중 적어도 하나를 제공하는 제 6 단계; 및
    상기 제 6 단계에서 제공되는 제품의 구매시 상기 홈 게이트웨이의 CAS 결제 시스템을 이용하여 결제하는 제 7 단계를 포함하여 이루어진 것을 특징으로 하는 가정용 로봇을 이용한 애완동물 제공 방법.
KR1020020072820A 2002-11-21 2002-11-21 가정용 로봇을 이용한 애완동물 로봇의 제공 장치 및 그방법 KR20040044316A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020020072820A KR20040044316A (ko) 2002-11-21 2002-11-21 가정용 로봇을 이용한 애완동물 로봇의 제공 장치 및 그방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020020072820A KR20040044316A (ko) 2002-11-21 2002-11-21 가정용 로봇을 이용한 애완동물 로봇의 제공 장치 및 그방법

Publications (1)

Publication Number Publication Date
KR20040044316A true KR20040044316A (ko) 2004-05-28

Family

ID=37340571

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020020072820A KR20040044316A (ko) 2002-11-21 2002-11-21 가정용 로봇을 이용한 애완동물 로봇의 제공 장치 및 그방법

Country Status (1)

Country Link
KR (1) KR20040044316A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100855943B1 (ko) * 2007-01-31 2008-09-02 한양대학교 산학협력단 Ｅ―ｆｏｏｄ를 이용한 캐릭터 로봇 행동 학습 시스템
KR101045020B1 (ko) * 2010-05-10 2011-06-30 (주)엘지산업 무접점 스위칭 소자를 이용한 과부하 보호기능이 구비된 능동형 영상고조파 필터
KR101045021B1 (ko) * 2010-06-10 2011-06-30 (주)엘지산업 중성선 전류 감지장치 및 능동형 영상고조파 필터를 구비한 분전반
KR20130094058A (ko) * 2012-02-15 2013-08-23 주식회사 케이티 커뮤니케이션 시스템, 장치 및 기록 매체
KR101537640B1 (ko) * 2008-12-02 2015-07-20 삼성전자 주식회사 애완용 로봇 및 그 제어방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000072753A (ko) * 2000-09-25 2000-12-05 오재덕 근거리 무선통신 수단을 내장한 지능형 장난감
KR20010076174A (ko) * 2000-01-13 2001-08-11 신요식 장난감의 컨텐츠 업데이트 방법 및 그 시스템
JP2002224460A (ja) * 2001-01-16 2002-08-13 Chinsei Ri オンラインとオフラインを連繋したロボット愛玩動物の育成ゲーム方法
JP2002301675A (ja) * 2001-01-30 2002-10-15 Nec Corp ロボット、ロボット制御システム、およびそのプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010076174A (ko) * 2000-01-13 2001-08-11 신요식 장난감의 컨텐츠 업데이트 방법 및 그 시스템
KR20000072753A (ko) * 2000-09-25 2000-12-05 오재덕 근거리 무선통신 수단을 내장한 지능형 장난감
JP2002224460A (ja) * 2001-01-16 2002-08-13 Chinsei Ri オンラインとオフラインを連繋したロボット愛玩動物の育成ゲーム方法
JP2002301675A (ja) * 2001-01-30 2002-10-15 Nec Corp ロボット、ロボット制御システム、およびそのプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100855943B1 (ko) * 2007-01-31 2008-09-02 한양대학교 산학협력단 Ｅ―ｆｏｏｄ를 이용한 캐릭터 로봇 행동 학습 시스템
KR101537640B1 (ko) * 2008-12-02 2015-07-20 삼성전자 주식회사 애완용 로봇 및 그 제어방법
KR101045020B1 (ko) * 2010-05-10 2011-06-30 (주)엘지산업 무접점 스위칭 소자를 이용한 과부하 보호기능이 구비된 능동형 영상고조파 필터
KR101045021B1 (ko) * 2010-06-10 2011-06-30 (주)엘지산업 중성선 전류 감지장치 및 능동형 영상고조파 필터를 구비한 분전반
KR20130094058A (ko) * 2012-02-15 2013-08-23 주식회사 케이티 커뮤니케이션 시스템, 장치 및 기록 매체

Similar Documents

Publication Publication Date Title
US20020028704A1 (en) Information gathering and personalization techniques
US9539506B2 (en) System and method for playsets using tracked objects and corresponding virtual worlds
CN101452339B (zh) 在虚拟宇宙中呈现真实世界对象与交互的方法和系统
US9232353B2 (en) Approaches for device location and communication
US8986120B2 (en) Companion object customization
US8595336B1 (en) Portable universal personal storage, entertainment, and communication device
US6539400B1 (en) Information gathering and personalization techniques
JP2020168385A (ja) 手のモーションコントロールを有するゲーム
US9292957B2 (en) Portable virtual characters
KR101981774B1 (ko) Vr 공간에서 사용자 인터페이스를 제공하는 방법, 디바이스 및 기록매체
Costa et al. An open architecture to support social and health services in a smart TV environment
CN107004053A (zh) 基于家族历史的动态可穿戴设备行为
Apperley et al. Haptic ambience: Ambient play, the haptic effect and co-presence in Pokémon GO
CN110019918B (zh) 虚拟宠物的信息展示方法、装置、设备及存储介质
CN106878390B (zh) 电子宠物互动控制方法、装置及可穿戴设备
US11135726B2 (en) Autonomously acting robot that accepts a guest
CN104737209A (zh) 信息处理装置、系统、信息处理方法和程序
KR20020061332A (ko) 온라인과 오프라인을 연계한 로봇 애완동물 육성 게임방법
JP7432647B2 (ja) ターゲット画像の検出による拡張現実経験のロック解除
CN102574019A (zh) 用于有条件地发送数据的设备和方法
US20140349749A1 (en) Information processing system, information processing device, storing medium, and display method
CN107748785A (zh) 衣橱管理方法及移动终端
Pons et al. Remote interspecies interactions: Improving humans and animals’ wellbeing through mobile playful spaces
US20130326382A1 (en) Information processing system, storing medium, information processing device, and display method
CN110507996B (zh) 使游戏网络中的用户体验个性化

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application