KR20200005420A - 인터랙티브 어항 시스템, 그리고 이의 인터랙션 제공 방법 - Google Patents

인터랙티브 어항 시스템, 그리고 이의 인터랙션 제공 방법 Download PDF

Info

Publication number
KR20200005420A
KR20200005420A KR1020190007500A KR20190007500A KR20200005420A KR 20200005420 A KR20200005420 A KR 20200005420A KR 1020190007500 A KR1020190007500 A KR 1020190007500A KR 20190007500 A KR20190007500 A KR 20190007500A KR 20200005420 A KR20200005420 A KR 20200005420A
Authority
KR
South Korea
Prior art keywords
bubble
nozzle
input
information
interaction
Prior art date
Application number
KR1020190007500A
Other languages
English (en)
Other versions
KR102285256B1 (ko
Inventor
이우훈
고동현
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to US16/383,987 priority Critical patent/US11096381B2/en
Publication of KR20200005420A publication Critical patent/KR20200005420A/ko
Application granted granted Critical
Publication of KR102285256B1 publication Critical patent/KR102285256B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K63/00—Receptacles for live fish, e.g. aquaria; Terraria
    • A01K63/04—Arrangements for treating water specially adapted to receptacles for live fish
    • A01K63/042—Introducing gases into the water, e.g. aerators, air pumps
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K63/00—Receptacles for live fish, e.g. aquaria; Terraria
    • A01K63/003—Aquaria; Terraria

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Toys (AREA)
  • Farming Of Fish And Shellfish (AREA)

Abstract

인터랙티브 어항 시스템으로서, 수조에 설치되고, 버블들이 나오는 복수의 버블 노즐들이 배열된 노즐 어레이, 적어도 하나의 사용자 인터랙션 입력 장치에서 입력된 인터랙션 정보를 입력받고, 상기 인터랙션 정보의 특징을 상기 복수의 버블 노즐들 중 적어도 하나의 버블 노즐에서 발생되는 버블들로 표현하는 버블 변환 정보를 생성하며, 상기 버블 변환 정보에 해당하는 버블들이 나오도록 공기를 제공하는 제어 신호를 생성하는 컴퓨팅 장치, 그리고 상기 복수의 버블 노즐들과 호스들로 연결되고, 상기 제어 신호를 기초로 상기 복수의 버블 노즐들 중 적어도 하나로 공기를 제공하는 공기 주입 장치를 포함한다.

Description

인터랙티브 어항 시스템, 그리고 이의 인터랙션 제공 방법{INTERACTIVE FISH TANK SYSTEM, AND INTERACTION PROVIDING METHOD OF THE SAME}
본 발명은 사람과 동물의 상호작용 기술이다.
물고기는 집에서 기르는 가장 대중적인 애완동물 중 하나이다. 물고기를 직접 기르지 않더라도 아쿠아리움, 음식점이나 카페와 같이 주변에서나 쉽게 접할 수 있다. 사람들은 물고기를 보면서 스트레스를 해소하고, 정서적 안정을 느낀다. 또한 물고기의 아름다운 모습을 보고 심미적 만족감을 느낄 수도 있다.
한편 물고기는 다른 애완동물에 비해서 상호작용을 할 수 있는 수단이 제한적이다. 이로 인해 사람들은 물고기를 반려동물이라기 보다는 관상어로 여긴다. 사람들은 자신의 애완동물과 물리적인 상호작용을 하고 싶어하는 욕구가 있다. 이는 물고기에게도 적용되는데 스쿠버다이빙이나 스노클링과 같은 활동이 물고기와의 상호작용 욕구를 만족시키기 위한 대표적 활동들이다. 하지만 집에서 물고기를 기르는 경우 스노클링처럼 사람이 어항 속으로 들어가서 상호작용하기에 충분한 공간이 없으며 어항 속에 손을 넣는 것 역시 물고기의 안전 문제로 한계가 있다. 집에서 기르는 물고기에 대한 상호작용 욕구는 여전히 채워지지 않은 채로 남아있는 것이다.
인간-컴퓨터 상호작용(human-computer interaction, HCI) 분야로부터 동물-컴퓨터 상호작용(animal-computer interaction, ACI) 기술이 있다. 이 분야의 연구들은 디지털 인터페이스를 이용하여 동물과의 상호작용에 대한 연구를 진행한다. 동물과의 상호작용에 대한 연구들은 동물에 대한 더 높은 이해를 도와주면서 인간과 동물의 삶의 질을 높일 것이라는 기대가 있고, 실제로 ACI 분야 내의 여러 연구들은 기술을 이용하여 사람과 동물 사이에 풍부한 상호작용을 제공해주었으며 사람들과 동물의 관계를 증진시켜왔다.
ACI 분야의 다른 연구들과 마찬가지로, 디지털 인터페이스의 도움을 받아 물고기와 사람들이 상호작용한다면 사람들과 물고기의 관계를 반려동물에 가깝게 증진시킬 수 있다. 하지만, 물고기는 사람과 단절된 환경에 살고 있으며 물고기의 반응성이 낮기 때문에, 물고기를 기르는 것은 다른 애완동물을 기르는 것과는 다른 상호작용 패턴을 보이나 이에 대한 연구가 부족하다. 지금까지 알려진 물고기와의 상호작용 사례들은 전시 작품의 성격이 강하고 집에서 물고기를 기르는 환경에 적합하지 않다. 토킹 니모(Talking Nemo, Isokawa et al., 2016)는 물고기가 말하듯 어항 뒷면 디스플레이에서 말풍선을 만들어 사람들에게 물고기의 상태를 표시하는데, 물고기 상태 모니터링일 뿐, 물고기와의 상호작용이라고 보기는 어렵다. 이렇듯, 물고기와 사람의 단절된 환경, 그리고 물고기의 한정적인 상호작용성의 한계를 넘어 물고기와의 상호작용을 지원하는 기술이 요구된다.
해결하고자 하는 과제는 물고기와 같은 수중 생물과 사람의 상호작용을 지원하는 인터랙티브 어항 시스템을 제공하는 것이다.
한 실시예에 따른 인터랙티브 어항 시스템으로서, 수조에 설치되고, 버블들이 나오는 복수의 버블 노즐들이 배열된 노즐 어레이, 적어도 하나의 사용자 인터랙션 입력 장치에서 입력된 인터랙션 정보를 입력받고, 상기 인터랙션 정보의 특징을 상기 복수의 버블 노즐들 중 적어도 하나의 버블 노즐에서 발생되는 버블들로 표현하는 버블 변환 정보를 생성하며, 상기 버블 변환 정보에 해당하는 버블들이 나오도록 공기를 제공하는 제어 신호를 생성하는 컴퓨팅 장치, 그리고 상기 복수의 버블 노즐들과 호스들로 연결되고, 상기 제어 신호를 기초로 상기 복수의 버블 노즐들 중 적어도 하나로 공기를 제공하는 공기 주입 장치를 포함한다.
상기 노즐 어레이는 상기 수조의 바닥에 설치되어 상기 수조의 바닥면을 형성할 수 있다.
상기 공기 주입 장치는 상기 복수의 버블 노즐들 각각과 일대일로 연결된 복수의 에어 펌프들을 포함할 수 있다.
상기 사용자 인터랙션 입력 장치는 마이크 그리고 사용자 제스처 인식 장치 중 적어도 하나를 포함할 수 있다. 상기 인터랙션 정보는 상기 마이크로 입력된 음성과 상기 사용자 제스처 인식 장치에서 입력된 제스처 정보 중 적어도 하나를 포함할 수 있다.
상기 사용자 제스처 인식 장치는 상기 수조의 벽에 부착되고, 상기 벽에서 터치되는 사용자 제스처를 인식하는 적어도 하나의 센서를 포함할 수 있다.
상기 버블 변환 정보는 버블들이 나오는 버블 위치, 버블 크기, 버블 지속 시간, 그리고 버블 속도 중 적어도 하나를 포함할 수 있다.
상기 버블 위치는 상기 복수의 버블 노즐들 중 적어도 하나에 대응하고, 상기 인터랙션 정보의 입력 지점 주변에 위치하는 적어도 하나의 버블 노즐이거나 상기 인터랙션 정보가 입력되면 버블들이 나오도록 지정된 적어도 하나의 버블 노즐일 수 있다.
상기 버블 크기, 상기 버블 지속 시간, 그리고 상기 버블 속도 중 적어도 하나는 상기 인터랙션 정보의 크기, 강도, 입력 시간, 그리고 입력 속도 중 적어도 하나의 특징을 표현하도록 변환될 수 있다.
상기 컴퓨팅 장치는 상기 인터랙션 정보의 입력 위치를 기초로 버블들이 나오는 버블 위치를 결정하거나, 상기 인터랙션 정보가 입력되면 버블들이 나오도록 지정된 버블 위치를 확인하고, 상기 복수의 버블 노즐들 중에서 상기 버블 위치에 해당하는 버블 노즐로 공기가 제공되도록 상기 공기 주입 장치를 동작시키는 상기 제어 신호를 생성할 수 있다.
각 버블 노즐은, 연결된 호스를 통해 유입된 공기가 빠져나가는 일정 길이의 관이 바디의 내부를 관통하여 형성될 수 있다. 상기 바디는 상기 노즐 어레이의 구멍에 끼워지는 삽입부, 상기 노즐 어레이에 결착되는 날개부, 그리고 연결된 호스로부터 유입된 공기가 상기 관으로 유입되기 전에 채워지는 공간을 형성하는 일정 높이의 챔버벽을 포함할 수 있다.
한 실시예에 따라 적어도 하나의 프로세서로 동작하는 컴퓨팅 장치가 사용자와 수중 생물 사이의 인터랙션을 제공하는 방법으로서, 적어도 하나의 사용자 인터랙션 입력 장치에서 입력된 인터랙션 정보를 입력받는 단계, 상기 인터랙션 정보를 수조 안에서 발생되는 버블들로 표현하는 버블 변환 정보를 생성하는 단계, 상기 버블 변환 정보에 따라, 상기 수조 안에 설치된 복수의 버블 노즐들 중 적어도 하나의 특정 버블 노즐에서 버블들이 나오도록 만드는 제어 신호를 생성하는 단계, 그리고 상기 제어 신호를 상기 특정 버블 노즐로 공기를 제공하는 공기 주입 장치 또는 상기 공기 주입 장치의 제어기로 전송하는 단계를 포함한다.
상기 인터랙션 정보를 입력받는 단계는 마이크로 입력된 음성을 입력받을 수 있다.
상기 인터랙션 정보를 입력받는 단계는 사용자 제스처 인식 장치로부터 터치 정보를 입력받을 수 있다. 상기 사용자 제스처 인식 장치는 상기 수조의 외벽에 부착되어 상기 외벽에서 터치되는 사용자 제스처를 인식하는 적어도 하나의 센서를 포함할 수 있다.
상기 버블 변환 정보를 생성하는 단계는 상기 터치 정보가 입력되면 터치 지점 주변의 적어도 하나의 버블 노즐을 버블 위치로 결정하고, 상기 버블 위치를 포함하는 상기 버블 변환 정보를 생성할 수 있다.
상기 버블 변환 정보는 버블들이 나오는 버블 위치, 버블 크기, 버블 지속 시간, 그리고 버블 속도 중 적어도 하나를 포함할 수 있다. 상기 버블 위치는 상기 복수의 버블 노즐들 중 적어도 하나에 대응할 수 있다.
실시예에 따르면 사람은 어항 속 물고기와 단절된 상태에서 물고기와 상호작용할 수 있다. 본 발명의 실시예에 따르면 사람은 음성이나 어항 터치에 따라 조절되는 버블을 통해 어항 속 물고기와 상호작용할 수 있다.
도 1은 한 실시예에 따른 인터랙티브 어항 시스템의 구조도이다.
도 2는 한 실시예에 따른 사람과 수조 속 생물 사이에 생성된 인터랙션 채널들을 설명하는 도면이다.
도 3은 한 실시예에 따른 버블 노즐의 구조도이다.
도 4는 한 실시예에 따른 버블 노즐이 노즐 어레이에 결합한 모습을 설명하는 도면이다.
도 5는 한 실시예에 따른 수조 바닥에 배치된 노즐 어레이의 구조도이다.
도 6은 한 실시예에 따른 인터랙티브 어항 시스템의 동작 방법을 나타내는 흐름도이다.
도 7은 다른 실시예에 따른 노즐 어레이의 예시 도면이다.
도 8은 한 실시예에 따른 여과기 결합형 인터랙티브 어항 시스템의 구조도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 한 실시예에 따른 인터랙티브 어항 시스템의 구조도이고, 도 2는 한 실시예에 따른 사람과 수조 속 생물 사이에 생성된 인터랙션 채널들을 설명하는 도면이다.
도 1을 참고하면, 인터랙티브 어항 시스템(10)은 수조(100), 복수의 버블 노즐들(210-1, 210-2, ..., 210-n)이 배열된 노즐 어레이(200), 연결된 호스를 통해 복수의 버블 노즐들(210-1, 210-2, ..., 210-n)에 공기를 제공하는 공기 주입 장치(300), 적어도 하나의 사용자 인터랙션 입력 장치(400, 410), 그리고 적어도 하나의 사용자 인터랙션 입력 장치(400, 410)에서 입력된 인터랙션 정보를 기초로 공기 주입 장치(300)의 동작을 제어하는 컴퓨팅 장치(500)를 포함한다. 한편, 도면에서는 컴퓨팅 장치(500)를 표현하기 위해, 컴퓨팅 장치(500)가 수조(100)로부터 떨어진 위치에 존재하는 것으로 도시하였으나, 컴퓨팅 장치(500)는 수조(100), 노즐 어레이(200), 공기 주입 장치(300), 적어도 하나의 사용자 인터랙션 입력 장치(400, 410) 중 적어도 하나에 일체형으로 포함될 수 있다.
수조(100)는 다양한 형태 및 재질로 제작될 수 있다.
노즐 어레이(200)는 복수의 버블 노즐들(210-1, 210-2, ..., 210-n)이 수조(100) 내부로 버블을 발생시키도록 수조(100)의 일부분에 설치된다. 본 발명에서는 노즐 어레이(200)는 수조(100)의 바닥면에 설치된다고 설명하나, 노즐 어레이(200)는 수조(100)의 모양이나 크기에 따라 다양한 위치에 설치될 수 있고, 예를 들면, 수조 벽면에 설치될 수 있다. 본 발명에서는 물고기들이 버블을 충분히 피할 수 있도록 복수의 버블 노즐들이 동일 간격으로 일렬로 배열된다고 설명하나, 복수의 버블 노즐들의 배열은 다양하게 설계될 수 있다. 노즐 어레이(200)는 수조(100)에 탈부착이 되도록 모듈로 제작되어 조립 및 분해를 간편하게 제공할 수 있다. 노즐 어레이(200)는 바닥이 뚫려있는 수조(100)의 바닥면에 배치될 수 있다.
복수의 버블 노즐들 각각이 생성하는 버블 크기는 동일하거나 다를 수 있다. 각 버블 노즐은 버블 크기에 따라 구조가 설계될 수 있다.
공기 주입 장치(300)는 컴퓨팅 장치(500)의 제어 신호에서 특정된 적어도 하나의 버블 노즐로 공기를 제공한다. 공기 주입 장치(300)와 복수의 버블 노즐들의 연결은 다양하게 설계될 수 있다. 설명에서는 공기 주입 장치(300)가 복수의 에어 펌프들(300-1, 300-2, ..., 300-n)로 구성되고, 에어 펌프와 버블 노즐은 일대일로 연결된다고 가정한다.
복수의 에어 펌프들(300-1, 300-2, ..., 300-n) 각각은 컴퓨팅 장치(500)의 제어 신호에 따라 동작하여 공기를 버블 노즐로 제공한다. 에어 펌프는 에어 모터를 포함할 수 있고, 에어 모터의 속도, 동작 시간 등이 제어될 수 있다.
사용자 인터랙션 입력 장치(400, 410)는 마이크(400), 수조(100) 외부에 설치되어 사용자 제스처를 인식하는 제스처 인식 장치(410)를 포함할 수 있다. 마이크(400)와 제스처 인식 장치(410)는 컴퓨팅 장치(500)에 연결되고, 입력 정보를 컴퓨팅 장치(500)에 전달한다.
마이크(400)는 입력된 음성을 컴퓨팅 장치(500)로 전달한다. 마이크(400)의 종류나 형태는 다양할 수 있고, 예를 들면, 사람들에게 지각적 어포던스를 주는 것과 동시에 물고기와의 인터랙션을 강화하기 위해 스탠딩 마이크를 사용할 수 있다. 마이크(400)는 모바일 단말(미도시)의 마이크로 대체될 수 있다.
제스처 인식 장치(410)는 사용자 터치 등의 제스처를 인식할 수 있는 적어도 하나의 센서를 포함하고, 인식한 제스처 정보를 컴퓨팅 장치(500)로 전달한다. 제스처 인식 장치(410)의 종류나 형태는 다양할 수 있고, 예를 들면, 수조(100)의 외면에 부착되고 적외선 센서 등을 이용하여 벽면에서 터치되는 사용자 제스처를 인식하는 장치일 수 있다. 또는 제스처 인식 장치(410)는 카메라 센서를 이용하여 사용자 제스처를 인식하는 장치일 수 있다.
컴퓨팅 장치(500)는 마이크(400)와 제스처 인식 장치(410) 중 적어도 하나로부터 전송된 사용자 인터랙션 정보(음성, 터치)를 버블로 변환한 버블 변환 정보를 생성한다. 버블 변환 정보는 버블이 나오는 버블 위치, 버블 크기, 버블 지속 시간, 버블 속도 등을 포함할 수 있다. 버블 변환 정보는 버블이 발생하는 패턴을 포함할 수 있다. 컴퓨팅 장치(500)는 음성의 크기나 지속 시간, 터치 위치, 터치 횟수, 터치 시간에 따라 특정 버블 노즐에서 발생시킬 버블 정보를 결정할 수 있다. 컴퓨팅 장치(500)는 수조 속 생물의 종류나 크기를 입력받고, 생물의 종류나 크기에 따라 버블 변환 정보를 다르게 생성할 수 있다.
컴퓨팅 장치(500)는 버블이 나오는 위치의 버블 노즐, 그리고 이에 연결된 에어 펌프를 결정한다. 컴퓨팅 장치(500)는 버블 변환 정보에 해당하는 크기의 버블이 일정 시간 동안 버블 노즐에서 발생되도록 공기를 제공하는 제어 신호를 생성한다. 그리고 컴퓨팅 장치(500)는 버블이 나오는 버블 노즐에 대응된 에어 펌프로 제어 신호를 전송한다. 제어 신호를 수신한 에어 펌프는 제어 신호에 따라 에어 모터를 작동하여 연결된 버블 노즐로 공기를 보낸다.
컴퓨팅 장치(500)는 적어도 하나의 프로세서로 구현되고, 종류나 형태는 다양할 수 있다. 컴퓨팅 장치(500)는 인터랙티브 어항 시스템(10) 전용의 프로세서로 구현되고, 본 발명의 동작을 수행하는 프로그램/어플리케이션을 탑재할 수 있다. 컴퓨팅 장치(500)는 본 발명의 동작을 수행하는 프로그램/어플리케이션을 탑재한 범용 노트북이나 모바일 단말일 수 있다. 이 경우, 노트북이나 모바일 단말은 사용자 인터랙션 입력 장치와 유선/무선으로 연결되고, 공기 주입 장치(300)로 제어 신호를 유선/무선으로 전송할 수 있다. 또는, 노트북이나 모바일 단말은 공기 주입 장치(300)로 제어 신호를 전송하는 대신, 공기 주입 장치(300)에 연결된 제어기(미도시)로 제어 신호를 우선/무선으로 전송할 수 있다. 그러면, 공기 주입 장치 제어기는 제어 신호에 따라 적어도 하나의 공기 주입 장치를 동작시킬 수 있다. 공기 주입 장치 제어기는 간단하게는 아두이노 기반 제어기일 수 있다.
도 2를 참고하면, 인터랙티브 어항 시스템(10)은 음성 및/또는 제스처의 사용자 입력 정보를 버블로 변환하여 사람과 수조 속 생물(대표적으로, 물고기)의 인터랙션 채널을 제공한다. 인터랙션 채널은 사용자의 말을 버블로 변환하여 제공하는 보이스 채널, 사용자가 어항 벽면을 터치하는 제스처를 버블로 변환하여 제공하는 터치 제스처 채널, 그리고 사용자의 말과 제스처를 버블로 변환하여 제공하는 보이스 및 터치 제스처 채널을 포함할 수 있다.
도 3은 한 실시예에 따른 버블 노즐의 구조도이고, 도 4는 한 실시예에 따른 버블 노즐이 노즐 어레이에 결합한 모습을 설명하는 도면이다.
도 3을 참고하면, 버블 노즐(210)은 호스로부터 유입된 공기가 빠져나가는 관(211)이 바디(body) 내부를 관통하여 형성되고, 바디는 노즐 어레이(200)의 구멍에 끼워져 결합할 수 있는 모양으로 제작된다. 버블 노즐(210)은 노즐 어레이(200)의 구멍에 끼워지는 삽입부(A), 노즐 어레이(200)에 결착되는 날개부(wing)(B), 호스로부터 유입된 공기가 채워지는 공간인 공기 챔버를 형성하는 챔버벽(chamber wall)(C)을 포함할 수 있다.
관(211)의 직경에 따라 버블의 크기가 조절된다. 공기압이 수압보다 강할 때 버블이 물 밖으로 나가지만, 관(211)의 직경으로 버블 크기를 제한할 수 있다. 관(211)의 길이는 공기가 관으로 들어오는 챔버 입구에서 공기가 빠져나가는 지점까지의 높이이다. 관(211)의 길이에 따라 압력이 조절되고, 버블의 반응성을 조절할 수 있다. 즉, 관(211)의 길이가 짧을수록 버블들이 잘 나온다.
도 4의 (a)를 참고하면, 버블 노즐(210)의 삽입부(A)는 노즐 어레이(200)의 구멍의 크기에 맞춰 제작된다.
도 4의 (a)를 참고하면, 버블 노즐(210)의 날개부(B)는 볼트로 노즐 어레이(200)에 결착할 수 있는 모양으로 제작된다. 이때, 버블 노즐(210)의 날개부(B)에 플랜지(flange)를 끼운 후, 볼트로 고정할 수 있다. 플랜지는 볼트에 의해 날개부(B)에 가해지는 압력을 일정하게 분산시키고, 버블 노즐(210)과 노즐 어레이(200)를 빈틈없이 부착시킨다. 플랜지는 아크릴 소재로 제작될 수 있으나, 소개 및 두께는 다양하게 제작될 수 있다.
도 4의 (b)를 참고하면, 버블 노즐(210)의 챔버벽(C)에 공기 주입 장치에 연결된 호스가 부착된다. 챔버벽(C)의 두께가 얇고, 관(211)의 길이가 길수록 버블 노즐(210)이 쉽게 부푼다. 챔버벽(C)의 두께가 두껍고, 관(211)의 길이가 짧을수록 버블 노즐(210)이 부풀지 않고, 모양을 유지한다. 따라서, 관(211)의 길이와 챔버벽(C)의 두께를 조절하여 버블 이외에 눈에 띄는 요소들을 제거할 수 있다.
버블 노즐(210)의 소재는 다양하게 선택될 수 있고, 예를 들면 실리콘 소재로 제작될 수 있다. 실리콘은 주변에 메틸기와 같은 소수성 유기기가 붙어있어 발수성이 있다. 발수는 실리콘의 표면 에너지가 물의 표면 장력보다 더 큰 것을 말하며, 접촉각(Contact angle)이 높아져 버블(물방울)이 맺힌다. 만약 버블 크기가 관의 구멍보다 크면, 물은 버블 노즐(210)의 관으로 들어오지 못하고, 공기 주입 장치(300)의 공기압에 의해 공기는 버블 노즐(210)의 관을 빠져나간다. 이렇게, 버블 노즐(210)은 단방향으로 공기가 빠져나간다.
버블 노즐(210)의 모양은 어항의 구조 및 심미성에 영향을 미칠 수 있기 때문에 눈에 보이지 않게 디자인하는 것이 바람직하다. 또한 버블 노즐(210)은 노즐 어레이(200)에 결합되더라도, 물이 새지 않도록 방수성이 있는 소재(예를 들면, 실리콘)로 제작되는 것이 바람직하다.
도 5는 한 실시예에 따른 수조 바닥에 배치된 노즐 어레이의 구조도이다.
도 5를 참고하면, 복수의 버블 노즐들(210-1, 210-2, ..., 210-6)이 결합된 노즐 어레이(200)는 수조(100)의 바닥면을 형성할 수 있다. 이때, 노즐 어레이(200)는 수조(100)에 탈부착이 되도록 모듈로 제작될 수 있다. 바닥이 뚫려있는 수조(100)는 지면으로부터 일정 높이에 노즐 어레이(200)를 부착할 수 있는 구조이다.
복수의 에어 펌프들이 수조(100) 외부에 존재하는 경우, 복수의 버블 노즐들과 수조(100) 외부의 복수의 에어 펌프들을 연결하는 호스들을 수조(100) 외부로 빼내는 구멍이 수조(100) 옆면에 뚫려 있을 수 있다.
이렇게 노즐 어레이(200)가 수조(100)의 바닥면을 형성하므로, 노즐 어레이(200)에 의해 수조에 채워진 물이 새지 않으면서도 조립 분해가 쉬워야 한다. 이를 위해 노즐 어레이(200)와 바닥 레이어(미도시) 사이에 가스켓(gasket)(미도시)을 끼워 물이 새는 것을 방지할 수 있다. 노즐 어레이(200)와 바닥 레이어는 가스켓을 사이에 두고 결합한다. 가스켓은 실리콘 가스켓일 수 있고, 수조(100)의 바닥면의 모양으로 제작되어 노즐 어레이(200)의 가장자리에서 물이 새는 것을 방지한다.
도 6은 한 실시예에 따른 인터랙티브 어항 시스템의 동작 방법을 나타내는 흐름도이다.
도 6을 참고하면, 컴퓨팅 장치(500)는 적어도 하나의 사용자 인터랙션 장치로부터 사용자 인터랙션 정보(예를 들면, 음성, 터치)를 수신한다(S110). 사용자 인터랙션 장치는 사용자 음성을 입력받는 마이크(400), 수조(100)의 벽면에 부착되어 터치 등의 사용자 제스처를 인식하는 제스처 인식 장치(410) 등을 포함할 수 있다.
컴퓨팅 장치(500)는 사용자 인터랙션 정보의 특징을 추출하고, 사용자 인터랙션 정보의 특징을 버블로 표현하는 버블 변환 정보를 생성한다(S120). 버블 변환 정보는 버블이 나오는 버블 위치, 버블 크기, 버블 지속 시간, 버블 속도 등을 포함할 수 있다. 버블 크기, 버블 지속 시간, 그리고 버블 속도 등은 사용자 인터랙션 정보의 크기, 강도, 입력 시간, 입력 속도 등을 기초로 결정될 수 있다. 컴퓨팅 장치(500)는 사용자 인터랙션 정보로서 음성을 입력받는 경우, 음성이 입력된 시간에 비례하여 버블 지속 시간을 설정할 수 있다. 컴퓨팅 장치(500)는 사용자 인터랙션 정보로서 음성을 입력받는 경우, 복수의 버블 노즐들 중, 미리 지정된 버블 노즐, 마이크(400)와 가까운 버블 노즐, 또는 탐지한 물고기 위치에 가까운 버블 노즐 중 적어도 하나를 버블 위치로 결정할 수 있다. 복수의 버블 노즐들 각각이 생성하는 버블 크기가 다른 경우, 컴퓨팅 장치(500)는 음성 크기가 클수록 큰 버블을 만드는 버블 노즐을 버블 위치로 결정할 수 있다. 컴퓨팅 장치(500)는 사용자 인터랙션 정보로서 터치 제스처를 입력받는 경우, 터치 위치, 터치 횟수, 터치 시간 중 적어도 하나를 기초로 버블 위치, 버블 크기, 버블 지속 시간 중 적어도 하나를 결정할 수 있다. 컴퓨팅 장치(500)는 사용자 인터랙션 정보가 빠르게 입력되는 경우, 버블 속도를 빠르게 생성하는 버블 변환 정보를 생성할 수 있다.
컴퓨팅 장치(500)는 버블 변환 정보에 해당하는 버블 노즐로 공기를 보내기 위한 제어 신호를 생성한다(S130). 제어 신호에 따라, 공기 주입 장치가 버블 변환 정보에 해당하는 버블 노즐로 공기를 제공하는데, 제어 신호에 포함되는 정보 및 프로토콜을 공기 주입 장치 또는 공기 주입 장치 제어기에 따라 달라질 수 있다.
컴퓨팅 장치(500)는 버블 변환 정보에 해당하는 버블 노즐로 공기를 보내는 공기 주입 장치 또는 공기 주입 장치 제어기로 제어 신호를 전송한다(S140). 제어 신호를 수신한 공기 주입 장치는 제어 신호에 따라 에어 모터를 작동하여 연결된 버블 노즐로 공기를 보낸다.
한편, 컴퓨팅 장치(500)는 직접 또는 간접적으로 제어 신호를 공기 주입 장치/복수의 에어 펌프들로 전송할 수 있다. 예를 들어, 컴퓨팅 장치(500)는 공기 주입 장치/복수의 에어 펌프들로 직접 제어 신호를 전송하는 대신, 공기 주입 장치/복수의 에어 펌프들에 연결된 제어기(예를 들면, 아두이노 기반 제어기)로 제어 신호를 전송할 수 있다. 그러면, 공기 주입 장치 제어기는 제어 신호에 따라 적어도 하나의 공기 주입 장치를 동작시킬 수 있다.
본 발명의 인터랙티브 어항 시스템은 사람의 행동에 따라 어항 내부 환경이 바뀌도록 다양하게 변경될 수 있다.
도 7은 다른 실시예에 따른 노즐 어레이의 예시 도면이다.
도 7을 참고하면, 인터랙티브 어항 시스템(10)의 노즐 어레이(200)는 복수의 버블 노즐들이 2차원 평면에 배열되거나 발광 소자를 포함하는 노즐 어레이(200a)로 변형될 수 있다.
노즐 어레이(200a)는 복수의 버블 노즐들이 평면에 배열되어 수조(100)의 바닥에서 수조 내부로 버블을 발생시킬 수 있다. 2차원 배열형 노즐 어레이(200a)는 적어도 하나의 발광 소자(예를 들면, LED)를 포함할 수 있다.
컴퓨팅 장치(500)의 제어에 의해, 노즐 어레이(200a)의 복수의 노즐들 중 적어도 하나에서 버블이 나온다. 컴퓨팅 장치(500)의 제어에 의해, 노즐 어레이(200a)의 특정 위치에서 빛이 발광될 수 있다.
컴퓨팅 장치(500)는 사용자 인터랙션 정보(음성 및/또는 제스쳐)의 입력 위치나 강도에 따라, 평면에 배열된 노즐들 중 적어도 하나에서 버블이 나오거나 빛이 나오도록 제어하는 변환 정보를 생성한다. 사용자 인터랙션 정보의 입력에 따른 변환 정보는 사용자의 흥미, 수조 속 생물과의 인터랙션 정도 등을 고려하여 다양하게 생성될 수 있다. 예를 들면, 컴퓨팅 장치(500)는 음성이나 터치의 입력 위치에 가까운 열에 배열된 노즐들에서 버블들이 나오거나, 빛이 나오도록 제어할 수 있다. 컴퓨팅 장치(500)는 음성이나 터치의 입력 강도가 클수록 많은 노즐들에서 버블들이 나오거나, 빛이 나오도록 제어할 수 있다.
도 8은 한 실시예에 따른 여과기 결합형 인터랙티브 어항 시스템의 구조도이다.
도 8을 참고하면, 여과기 결합형 인터랙티브 어항 시스템(20)은 인터랙티브 여과기(600)를 이용하여 사용자 인터랙션 정보를 입력받고, 버블로 표현할 수 있다. 인터랙티브 여과기(600)를 통해 사용자는 어항을 교체하지 않더라도, 수중 생물과 교감할 수 있다. 인터랙티브 여과기(600)의 모양은 다양할 수 있다.
인터랙티브 여과기(600)는 수조로 여과된 물을 배출하는 배출구(outlet)와 수조로부터 물이 들어오는 주입구(inlet)를 통해 수조의 물을 순환시키고, 인터랙션 기능을 포함한다. 즉, 인터랙티브 여과기(600)는 인터랙티브 어항 시스템(10)의 노즐 어레이, 공기 주입 장치, 적어도 하나의 사용자 인터랙션 입력 장치, 그리고 컴퓨팅 장치를 더 포함할 수 있다. 사용자 인터랙션 입력 장치는 예를 들면, 마이크, 제스처 인식 센서(적외선 센서 및/또는 카메라 센서) 등일 수 있다.
인터랙티브 여과기(600)의 출수구(outlet)는 수조 바닥에 배치되고, 사용자 인터랙션 정보가 입력되면, 버블이 위로 나올 수 있다. 인터랙티브 여과기(600)의 출수구에서 나오는 물/버블의 위치/세기는 사용자 인터랙션 정보(사용자 행동)에 따라 변한다. 한편, 인터랙티브 여과기(600)의 출수구는 수조 위에 배치되고, 사용자 인터랙션 정보에 따라, 버블이 아래로 나올 수 있다.
지금까지, 사용자 인터랙션 정보에 따라 수조 내에서 표현되는 정보는 버블이나 발광 소자를 예로 들어 설명하였으나, 이에 한정되지 않고, 다양할 수 있다.
예를 들면, 수조 내에 모양이 가변하는 구조물(미도시)을 설치하고, 사용자 인터랙션 정보에 대응하는 공기압이 구조물의 모양을 변경할 수 있다. 공기압은 컴퓨팅 장치(500)가 사용자 인터랙션 정보를 기초로 제어한다. 구조물의 모양은 예를 들면, 구부러지거나 팽창할 수 있다. 예를 들면, 구조물은 컴퓨팅 장치(500)의 제어에 따라 수조 내 생물 방향으로 구부러지고, 이를 통해 사용자와 생물은 교감할 수 있다.
이외에도, 먹이를 수조 내에 투입하는 구조물(미도시)을 설치하고, 사용자 인터랙션 정보가 입력되면, 즉 사용자가 말을 하거나 행동을 하면, 먹이가 구조물에서 배출될 수 있다.
이와 같이, 인터랙티브 어항 시스템(10)은 사람과 물고기의 상호작용을 도와줄 수 있는 인터페이스를 제공하고, 이를 통해 사람들의 경험 변화와 물고기와의 상호작용에 미치는 효과와 가치를 탐구할 수 있다. 인터랙티브 어항 시스템(10)을 통해, 반응성이 낮은 수중 동물과의 상호작용을 통해 관계를 개선할 수 있다. 특히, 사람들은 자신의 행동이 잘 전달되고 물고기들이 자신의 행동에 대해 반응을 보이자 상호작용에 대한 확신을 가지게 되고, 기존보다 물고기와의 관계가 친밀해질 수 있다. 이렇게 증진된 물고기와의 상호작용은 사람들이 물고기를 기르는 가치들을 강화시켜줄 수 있다. 또한 사람들은 상호작용을 통해 개별 물고기에 대한 이해를 높일 수 있다.
즉, 인터랙티브 어항 시스템(10)은 물고기들과의 상호작용을 풍부하게 제공하므로, 물고기를 기르는 가치들을 강화시킬 수 있고, 물고기와의 관계를 친밀하게 개선할 수 있으며, 물고기에 대한 이해도를 높여 결과적으로 물고기와 사람들의 삶에 긍정적인 요소를 제공할 수 있다. 또한 인터랙티브 어항 시스템(10)은 사람들에게 새로운 경험을 제공해줄 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (15)

  1. 인터랙티브 어항 시스템으로서,
    수조에 설치되고, 버블들이 나오는 복수의 버블 노즐들이 배열된 노즐 어레이,
    적어도 하나의 사용자 인터랙션 입력 장치에서 입력된 인터랙션 정보를 입력받고, 상기 인터랙션 정보의 특징을 상기 복수의 버블 노즐들 중 적어도 하나의 버블 노즐에서 발생되는 버블들로 표현하는 버블 변환 정보를 생성하며, 상기 버블 변환 정보에 해당하는 버블들이 나오도록 공기를 제공하는 제어 신호를 생성하는 컴퓨팅 장치, 그리고
    상기 복수의 버블 노즐들과 호스들로 연결되고, 상기 제어 신호를 기초로 상기 복수의 버블 노즐들 중 적어도 하나로 공기를 제공하는 공기 주입 장치
    를 포함하는, 인터랙티브 어항 시스템.
  2. 제1항에서,
    상기 노즐 어레이는 상기 수조의 바닥에 설치되어 상기 수조의 바닥면을 형성하는, 인터랙티브 어항 시스템.
  3. 제1항에서,
    상기 공기 주입 장치는
    상기 복수의 버블 노즐들 각각과 일대일로 연결된 복수의 에어 펌프들을 포함하는, 인터랙티브 어항 시스템.
  4. 제1항에서,
    상기 사용자 인터랙션 입력 장치는
    마이크 그리고 사용자 제스처 인식 장치 중 적어도 하나를 포함하고,
    상기 인터랙션 정보는 상기 마이크로 입력된 음성과 상기 사용자 제스처 인식 장치에서 입력된 제스처 정보 중 적어도 하나를 포함하는, 인터랙티브 어항 시스템.
  5. 제4항에서,
    상기 사용자 제스처 인식 장치는
    상기 수조의 벽에 부착되고, 상기 벽에서 터치되는 사용자 제스처를 인식하는 적어도 하나의 센서를 포함하는, 인터랙티브 어항 시스템.
  6. 제1항에서,
    상기 버블 변환 정보는
    버블들이 나오는 버블 위치, 버블 크기, 버블 지속 시간, 그리고 버블 속도 중 적어도 하나를 포함하는, 인터랙티브 어항 시스템.
  7. 제6항에서,
    상기 버블 위치는
    상기 복수의 버블 노즐들 중 적어도 하나에 대응하고, 상기 인터랙션 정보의 입력 지점 주변에 위치하는 적어도 하나의 버블 노즐이거나 상기 인터랙션 정보가 입력되면 버블들이 나오도록 지정된 적어도 하나의 버블 노즐인, 인터랙티브 어항 시스템.
  8. 제6항에서,
    상기 버블 크기, 상기 버블 지속 시간, 그리고 상기 버블 속도 중 적어도 하나는 상기 인터랙션 정보의 크기, 강도, 입력 시간, 그리고 입력 속도 중 적어도 하나의 특징을 표현하도록 변환되는, 인터랙티브 어항 시스템.
  9. 제1항에서,
    상기 컴퓨팅 장치는
    상기 인터랙션 정보의 입력 위치를 기초로 버블들이 나오는 버블 위치를 결정하거나, 상기 인터랙션 정보가 입력되면 버블들이 나오도록 지정된 버블 위치를 확인하고, 상기 복수의 버블 노즐들 중에서 상기 버블 위치에 해당하는 버블 노즐로 공기가 제공되도록 상기 공기 주입 장치를 동작시키는 상기 제어 신호를 생성하는, 인터랙티브 어항 시스템.
  10. 제1항에서,
    각 버블 노즐은, 연결된 호스를 통해 유입된 공기가 빠져나가는 일정 길이의 관이 바디의 내부를 관통하여 형성되고,
    상기 바디는 상기 노즐 어레이의 구멍에 끼워지는 삽입부, 상기 노즐 어레이에 결착되는 날개부, 그리고 연결된 호스로부터 유입된 공기가 상기 관으로 유입되기 전에 채워지는 공간을 형성하는 일정 높이의 챔버벽을 포함하는, 인터랙티브 어항 시스템.
  11. 적어도 하나의 프로세서로 동작하는 컴퓨팅 장치가 사용자와 수중 생물 사이의 인터랙션을 제공하는 방법으로서,
    적어도 하나의 사용자 인터랙션 입력 장치에서 입력된 인터랙션 정보를 입력받는 단계,
    상기 인터랙션 정보를 수조 안에서 발생되는 버블들로 표현하는 버블 변환 정보를 생성하는 단계,
    상기 버블 변환 정보에 따라, 상기 수조 안에 설치된 복수의 버블 노즐들 중 적어도 하나의 특정 버블 노즐에서 버블들이 나오도록 만드는 제어 신호를 생성하는 단계, 그리고
    상기 제어 신호를 상기 특정 버블 노즐로 공기를 제공하는 공기 주입 장치 또는 상기 공기 주입 장치의 제어기로 전송하는 단계
    를 포함하는, 인터랙션 제공 방법.
  12. 제11항에서,
    상기 인터랙션 정보를 입력받는 단계는
    마이크로 입력된 음성을 입력받는, 인터랙션 제공 방법.
  13. 제11항에서,
    상기 인터랙션 정보를 입력받는 단계는
    사용자 제스처 인식 장치로부터 터치 정보를 입력받고,
    상기 사용자 제스처 인식 장치는 상기 수조의 외벽에 부착되어 상기 외벽에서 터치되는 사용자 제스처를 인식하는 적어도 하나의 센서를 포함하는, 인터랙션 제공 방법.
  14. 제13항에서,
    상기 버블 변환 정보를 생성하는 단계는
    상기 터치 정보가 입력되면 터치 지점 주변의 적어도 하나의 버블 노즐을 버블 위치로 결정하고, 상기 버블 위치를 포함하는 상기 버블 변환 정보를 생성하는, 인터랙션 제공 방법.
  15. 제11항에서,
    상기 버블 변환 정보는
    버블들이 나오는 버블 위치, 버블 크기, 버블 지속 시간, 그리고 버블 속도 중 적어도 하나를 포함하고,
    상기 버블 위치는 상기 복수의 버블 노즐들 중 적어도 하나에 대응하는, 인터랙션 제공 방법.
KR1020190007500A 2018-07-06 2019-01-21 인터랙티브 어항 시스템, 그리고 이의 인터랙션 제공 방법 KR102285256B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/383,987 US11096381B2 (en) 2018-07-06 2019-04-15 Interactive fish tank system, and interaction providing method of the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180079038 2018-07-06
KR20180079038 2018-07-06

Publications (2)

Publication Number Publication Date
KR20200005420A true KR20200005420A (ko) 2020-01-15
KR102285256B1 KR102285256B1 (ko) 2021-08-03

Family

ID=69156822

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190007500A KR102285256B1 (ko) 2018-07-06 2019-01-21 인터랙티브 어항 시스템, 그리고 이의 인터랙션 제공 방법

Country Status (1)

Country Link
KR (1) KR102285256B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102161399B1 (ko) * 2020-03-27 2020-10-05 조명민 다감각 치료용 물방울 기둥 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0720807A (ja) * 1993-01-14 1995-01-24 Kubota Corp 気泡によるディスプレイ装置
KR200244839Y1 (ko) * 2001-05-26 2001-10-15 이영석 수족관 기포의 문자 발생장치
KR20060045213A (ko) * 2004-11-12 2006-05-17 (주)가보 음향에 반응하는 수조장치
KR20170004071U (ko) * 2016-05-24 2017-12-04 박희용 디스플레이를 구비하는 수족관

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0720807A (ja) * 1993-01-14 1995-01-24 Kubota Corp 気泡によるディスプレイ装置
KR200244839Y1 (ko) * 2001-05-26 2001-10-15 이영석 수족관 기포의 문자 발생장치
KR20060045213A (ko) * 2004-11-12 2006-05-17 (주)가보 음향에 반응하는 수조장치
KR20170004071U (ko) * 2016-05-24 2017-12-04 박희용 디스플레이를 구비하는 수족관

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102161399B1 (ko) * 2020-03-27 2020-10-05 조명민 다감각 치료용 물방울 기둥 장치
WO2021194226A1 (ko) * 2020-03-27 2021-09-30 조명민 다감각 치료용 물방울 기둥 장치

Also Published As

Publication number Publication date
KR102285256B1 (ko) 2021-08-03

Similar Documents

Publication Publication Date Title
US7333395B2 (en) System, method and apparatus for attracting and stimulating aquatic animals
US20160360729A1 (en) Multifunctional cat condo
US10733995B2 (en) Sound recognition electronic device
KR20200005420A (ko) 인터랙티브 어항 시스템, 그리고 이의 인터랙션 제공 방법
CN104932295A (zh) 一种多功能淋浴人性化控制方法
CN104766508B (zh) 幼儿教学淋浴辅助系统
US11096381B2 (en) Interactive fish tank system, and interaction providing method of the same
US20080317264A1 (en) Device and Method for Capturing Vocal Sound and Mouth Region Images
CN102119001A (zh) 具有无手动控制的声学成像设备
KR20200050122A (ko) 로봇물고기
EP3276615B1 (en) An acoustic device for forming a wall of sound underwater
CN114175145A (zh) 多模态智能音频设备系统注意力表达
CN205584575U (zh) 船舶诱鱼灯自动控制系统
WO2017087689A1 (en) Pool data collection and control system
KR101553885B1 (ko) 반려동물의 자동먹이 공급장치
JP4784366B2 (ja) 音声操作装置
US9492758B2 (en) Body and gesture recognition for water play structure
KR20110076429A (ko) 피부색 변화를 이용한 안드로이드 로봇의 감정 표현 장치 및 방법 그리고 이를 행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
CN211757272U (zh) 一种基于超声波清洗，紫外线消毒的假发清洗装置
KR20080078324A (ko) 자율적 감정표현 로봇 시스템
CN111112222A (zh) 一种基于超声波清洗，紫外线消毒的假发清洗装置
KR20180017487A (ko) 스마트폰을 이용한 낚시 도구
CN102669041B (zh) 防蚊鱼缸
JPH08308429A (ja) 底魚の養殖方法および装置
CN101496504A (zh) 一种新型鱼缸

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant