KR20160097894A - System for user oriented autonomous shopping cart by non-contacting user interface, and method for controlling autonomous shopping cart using the same - Google Patents
System for user oriented autonomous shopping cart by non-contacting user interface, and method for controlling autonomous shopping cart using the same Download PDFInfo
- Publication number
- KR20160097894A KR20160097894A KR1020150020348A KR20150020348A KR20160097894A KR 20160097894 A KR20160097894 A KR 20160097894A KR 1020150020348 A KR1020150020348 A KR 1020150020348A KR 20150020348 A KR20150020348 A KR 20150020348A KR 20160097894 A KR20160097894 A KR 20160097894A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- shopping cart
- wheelchair
- control module
- kinect
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 239000000284 extract Substances 0.000 claims abstract 2
- 230000033001 locomotion Effects 0.000 claims description 28
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62B—HAND-PROPELLED VEHICLES, e.g. HAND CARTS OR PERAMBULATORS; SLEDGES
- B62B3/00—Hand carts having more than one axis carrying transport wheels; Steering devices therefor; Equipment therefor
- B62B3/14—Hand carts having more than one axis carrying transport wheels; Steering devices therefor; Equipment therefor characterised by provisions for nesting or stacking, e.g. shopping trolleys
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62B—HAND-PROPELLED VEHICLES, e.g. HAND CARTS OR PERAMBULATORS; SLEDGES
- B62B5/00—Accessories or details specially adapted for hand carts
- B62B5/0026—Propulsion aids
- B62B5/0033—Electric motors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62B—HAND-PROPELLED VEHICLES, e.g. HAND CARTS OR PERAMBULATORS; SLEDGES
- B62B5/00—Accessories or details specially adapted for hand carts
- B62B5/0026—Propulsion aids
- B62B5/0069—Control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62B—HAND-PROPELLED VEHICLES, e.g. HAND CARTS OR PERAMBULATORS; SLEDGES
- B62B5/00—Accessories or details specially adapted for hand carts
- B62B5/0026—Propulsion aids
- B62B5/0079—Towing by connecting to another vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Handcart (AREA)
Abstract
Description
본 발명은 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 시스템, 그리고 자유주행 쇼핑카트 제어방법에 관한 것으로, 보다 구체적으로는, 몸이 불편한 장애인이나 노약자, 임산부들을 위해서 키넥트의 상황인식 기술을 이용하여 사용자를 인식하고 사용자를 추적하여 사용자의 장보기나 물품의 운반에 있어서 편리함을 제공하도록 하기 위한 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 시스템, 그리고 자유주행 쇼핑카트 제어방법에 관한 것이다.
The present invention relates to a user-oriented autonomous shopping cart system through a non-contact user interface, and a free shopping cart control method. More specifically, the present invention relates to a kinematic recognition technology for a disabled person, an elderly person, To a user-oriented autonomous shopping cart system through a non-contact user interface for identifying a user and tracking the user so as to provide convenience in user's transportation and transportation of goods, and a free running shopping cart control method.
국내 대형 마트의 시장 규모는 38조 8,000억원 규모로 점포수만 해도 470여 개에 이르며, 생필품을 위주로 팔던 예전 마트 형태와 달리 의류, 가전제품 등의 다양한 제품들을 대형 마트 한 곳에서 구매할 수 있기 때문에 많은 사람들이 작은 물건 하나를 구매하기 위해서도 대형 마트나 백화점으로 향하는 추세이다. 그러나 신체가 불편한 장애인들은 대형 마트나 백화점과 같은 장소에 가기에는 많은 불편함이 따른다. The market size of domestic large-sized marts is 38.8 trillion won, and the number of stores is 470, and unlike the old mart form which mainly sells necessities, various products such as clothes and home appliances can be purchased from a large mart store People tend to go to large marts or department stores to buy one small thing. However, disabled people with physical disabilities have many inconveniences to go to places like large marts and department stores.
최근 한국 장애인 소비자 연합에서 서울시내 53개 대형 마트의 장애인 편의실태를 점검한 결과 장애인에 대한 배려가 없다고 밝혔다. 대표적인 이유는 장애인화장실 운영문제, 장애인을 위한 업무지침 등이 있다. 이와 같이 많은 곳에서의 장애인을 위한 편의시설 및 장애인에 대한 고찰이 부족한 실정이다.Recently, the Korea Disability Consumers Union has examined the convenience of disabled people in 53 large marts in Seoul, and said that there is no consideration for people with disabilities. Typical reasons are the issue of handicapped persons' toilets, working guidelines for disabled people, and so on. In this way, the convenience facilities for the disabled in many places and the insufficiencies of the disabled are lacking.
휠체어를 사용하는 장애인 같은 경우에는 보호자 없이 쇼핑카트를 끌고 쇼핑을 할 수가 없기 때문에 대형 마트 및 백화점과 같은 장소에는 애초부터 가기를 꺼린다.In the case of disabled people using wheelchairs, shopping carts can not be dragged out without a guardian, so they are reluctant to go to places like large marts and department stores from the beginning.
이러한 문제를 해소하기 위한 방법으로는 인터넷 쇼핑 또는 홈쇼핑이 있지만 한국 장애인 소비자 연합에서는 장애인 소비자들에게 소비 주권 행사와 권익보호를 위해 대형 마트들이 빠른 기간 내에 미비한 부분들을 보완하도록 촉구를 하였고 장애인 소비자들이 자신이 원하는 물건을 직접 구입하고 싶은 구매욕구들을 충족시켜주길 바란다고 강조를 하였다. Although there are Internet shopping or home shopping as a way to solve this problem, the Korean Disabled Consumers Association urged consumers with disabilities to supplement their weak areas in order to exercise consumption sovereignty and protect their interests within a short period of time. I want to meet the desire to buy the goods I want to buy directly.
현재 대형 마트에는 휠체어 장애인의 쇼핑을 도와줄 수 있는 도구는 거의 없는 상태이다. 몇 년 전 휠체어 앞 부분에 고리로 연결할 수 있는 장애인 쇼핑카트가 사용되기 했지만, 이것은 휠체어 장애인의 주행을 방해하고 특히 회전을 할 때 회전 반경을 아주 크게 하는 불편함이 있었다. Currently, there are very few tools available at large marts to help shoppers with wheelchairs. A few years ago, a disabled shopping cart that could be hooked up to the front of the wheelchair was used, but this had the disadvantage of blocking the wheelchair person's drive and making the turn radius too large, especially when turning.
이에 따라 해당 기술분야에 있어서는 휠체어 장애인의 쇼핑을 도와줄 수 있는 자율주행 쇼핑카트를 제공하기 위한 기술 개발이 요구되고 있다.
Accordingly, in the related technical field, it is required to develop a technology for providing an autonomous shopping cart capable of helping a disabled person in a wheelchair shopping.
[관련기술문헌][Related Technical Literature]
상품코너 안내용 전동 쇼핑카트 (특허출원번호 제10-2009-0128245호)
Item Contents Electric shopping cart (Patent application No. 10-2009-0128245)
본 발명은 상기의 문제점을 해결하기 위한 것으로, 몸이 불편한 장애인이나 노약자, 임산부들을 위해서 키넥트의 상황인식 기술을 이용하여 사용자를 인식하고 사용자를 추적하여 사용자의 장보기나 물품의 운반에 있어서 편리함을 제공하도록 하기 위한 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 시스템, 그리고 자유주행 쇼핑카트 제어방법을 제공하기 위한 것이다.The present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide an apparatus and a method for recognizing a user and tracking a user by using the status recognition technology of Kinect for the disabled, the elderly, A user-oriented autonomous traveling shopping cart system via a non-contact user interface for providing a free shopping cart control method, and a free running shopping cart control method.
또한, 본 발명은 장애인의 쇼핑 불편함을 해소하기 위해 쇼핑카트 윗부분에는 키넥트를 장착하여 사용자를 인식할 수 있도록 하고, 바닥부분에는 쇼핑카트를 움직이게 할 모터를 장착한 뒤, 키넥트에 의해 휠체어 장애인의 움직임을 인식하여 직진, 멈춤, 오른쪽이동, 왼쪽이동을 판단하고, 그 결과에 따라 자유주행 방식으로 쇼핑카트의 주행을 제어하도록 하기 위한 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 시스템, 그리고 자유주행 쇼핑카트 제어방법을 제공하기 위한 것이다.In order to solve the inconvenience of shopping for the handicapped, the present invention is characterized in that a kinect is mounted on the upper part of a shopping cart to allow a user to be recognized, a motor for moving the shopping cart is mounted on the bottom, A user-oriented autonomous shopping cart system through a non-contact user interface for judging whether a person with a disability is moving and determining whether the person is moving in a straight line, stopping, rightward movement, or leftward movement, And to provide a free running shopping cart control method.
또한, 본 발명은 쇼핑카트에 키넥트를 부착시키고 키넥트가 사용자를 인식하고 일정한 거리를 두고 사용자를 추적할 수 있도록 하기 위한 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 시스템, 그리고 자유주행 쇼핑카트 제어방법을 제공하기 위한 것이다.The present invention also relates to a user-oriented autonomous shopping cart system via a non-contact user interface for attaching a Kinect to a shopping cart and enabling the Kinect to recognize the user and track the user at a certain distance, So as to provide a cart control method.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
However, the objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 시스템은, 휠체어(20)와 사용자 지향 자율주행 쇼핑카트(10)를 포함하는 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 시스템에 있어서, 휠체어(20) 사용자와 그의 모션을 인식하기 위해 사용자 지향 자율주행 쇼핑카트(10)에 부착되며, 사용자의 스켈레톤(뼈대) 정보를 추출하여, 근거리 무선통신을 통해 스마트 모바일 디바이스(13)로 제공하는 키넥트(11); 및 사용자 지향 자율주행 쇼핑카트(10)의 하부에 부착되어 쇼핑카트 본체(14)의 주행을 수행하기 위해 모터를 구비하며, 키넥트(11)에 의해 인식된 휠체어(20) 사용자 자체 그리고 사용자의 모션에 따른 스마트 모바일 디바이스(13)의 제어에 따라 전진, 멈춤, 왼쪽이동, 오른쪽이동을 수행하는 RC 구동부(12); 를 포함하는 것을 특징으로 한다.In order to achieve the above object, a user-oriented autonomous shopping cart system with a non-contact user interface according to an embodiment of the present invention includes a non-contact user interface including a
이때, RC 구동부(12)는, 키넥트(11)에 의해 인식된 사용자가 시야에서 벗어나면 사용자를 찾기 위해 90, 180, 270, 360도 회전하도록 구동되는 것을 특징으로 한다.At this time, the RC
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 제어방법은, 키넥트 제어모듈(13a-1)이 키넥트(11)에 의해 인식된 키넥트(11)와 이격된 휠체어(20) 사용자의 인식 정보를 생성하는 제 1 단계; 및 RC 구동부 제어모듈(13a-2)이 키넥트 제어모듈(13a-1)에 의해 휠체어(20) 사용자와 키텍트(11)에 인식된 사용자와 미리 설정된 거리(dm)를 유지하도록 사용자 지향 자율주행 쇼핑카트(10)의 RC 구동부(12)에 대한 제어를 통해 전진 또는 멈춤을 수행하는 제 2 단계; 를 포함하는 것을 특징으로 한다.In order to achieve the above object, a method of controlling a user-directed autonomous shopping cart through a non-contact user interface according to an embodiment of the present invention is characterized in that the keynote control module (13a-1) A first step of generating recognition information of a user of the wheelchair (20) separated from the neck (11); And the RC
이때, 제 1 단계는, 키넥트 제어모듈(13a-1)이 키넥트(11)를 통해 인식된 휠체어(20) 사용자의 스켈레톤(뼈대) 정보 상의 중심점과 키넥트(11)와의 거리(깊이: depth)를 계산하여 임계거리(dm)보다 연산된 거리값이 커지면 전진 명령을 생성하여 RC 구동부 제어모듈(13a-2)로 전송하고, 임계거리(dm)보다 연산된 거리값이 작아지면 멈춤 명령을 생성하여 RC 구동부 제어모듈(13a-2)로 전송하는 것을 특징으로 한다.
At this time, the first step is to determine the distance (the depth) between the central point on the skeleton information of the user of the
본 발명의 실시예에 따른 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 시스템, 그리고 자유주행 쇼핑카트 제어방법은, 몸이 불편한 장애인이나 노약자, 임산부들을 위해서 키넥트의 상황인식 기술을 이용하여 사용자를 인식하고 사용자를 추적하여 사용자의 장보기나 물품의 운반에 있어서 편리함을 제공한다. A user-oriented autonomous shopping cart system and a free-traveling shopping cart control method using a non-contact user interface according to an embodiment of the present invention can be implemented by using a state recognition technology of Kinect for a disabled person, an elderly person, And tracks the user, thereby providing convenience for the users to carry out the transportation and the goods.
또한, 본 발명의 다른 실시예에 따른 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 시스템, 그리고 자유주행 쇼핑카트 제어방법은, 쇼핑카트에 키넥트를 부착시키고 키넥트가 사용자를 인식하고 일정한 거리를 두고 사용자를 추적할 수 있는 효과를 제공한다.In addition, according to another embodiment of the present invention, a user-oriented autonomous shopping cart system and a free-traveling shopping cart control method using a non-contact user interface are characterized by attaching a Kinect to a shopping cart, And the user can be tracked by the user.
뿐만 아니라, 본 발명의 다른 실시예에 따른 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 시스템, 그리고 자유주행 쇼핑카트 제어방법은, 장애인의 쇼핑 불편함을 해소하기 위해 쇼핑카트 윗부분에는 키넥트를 장착하여 사용자를 인식할 수 있도록 하고, 바닥부분에는 쇼핑카트를 움직이게 할 모터를 장착한 뒤, 키넥트에 의해 휠체어 장애인의 움직임을 인식하여 직진, 멈춤, 오른쪽이동, 왼쪽이동을 판단하고, 그 결과에 따라 자유주행 방식으로 쇼핑카트의 주행 제어할 수 있는 효과를 제공한다.
In addition, a user-oriented autonomous shopping cart system and a free-traveling shopping cart control method using a non-contact user interface according to another embodiment of the present invention may include a keynote on the top of a shopping cart to solve the inconvenience of shopping for a disabled person And the bottom part is mounted with a motor for moving the shopping cart, and then the movement of the wheelchair disabled person is recognized by the key knot to judge whether it is straight ahead, stop, right or left, The present invention provides an effect of controlling the traveling of the shopping cart by the free running method.
도 1은 본 발명의 실시예에 따른 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 시스템을 나타내는 도면이다.
도 2는 도 1의 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 시스템의 동작 개념을 나타내는 도면이다.
도 3은 도 1의 사용자 지향 자율주행 쇼핑카트 시스템 중 사용자 지향 자율주행 쇼핑카트(10)에 대한 설계 내역을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 제어방법 중 전진 및 멈춤 방식의 개념을 나타내는 도면이다.
도 5는 도 1의 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 시스템 중 스마트 모바일 디바이스(13)의 제어 어플리케이션(13a)에 의해 구현되는 UI 화면을 나타내는 참조도면이다.
도 6은 도 1의 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 시스템상에서 제어 어플리케이션(13a)에 의한 사용자 지향 자율주행 쇼핑카트(10)의 RC 구동부(12)에 대한 자율주행 제어방식인 전진 및 멈춤, 그리고 왼쪽이동 및 오른쪽이동을 구현하기 위한 프로그램 코드 정보를 나타내는 참조도면이다. 1 is a diagram illustrating a user-oriented autonomous shopping cart system through a non-contact user interface according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an operation concept of a user-oriented autonomous shopping cart system via the non-contact user interface of FIG. 1;
FIG. 3 is a diagram for explaining the design details of the user-oriented
4 is a diagram illustrating a concept of a forward and a stop method in a method of controlling a user-oriented autonomous shopping cart through a non-contact user interface according to an embodiment of the present invention.
FIG. 5 is a reference view showing a UI screen implemented by the
FIG. 6 is a flowchart showing the operation of the user-oriented autonomous mobile shopping cart system of FIG. 1 by the
이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a detailed description of preferred embodiments of the present invention will be given with reference to the accompanying drawings. In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
In the present specification, when any one element 'transmits' data or signals to another element, the element can transmit the data or signal directly to the other element, and through at least one other element Data or signal can be transmitted to another component.
도 1은 본 발명의 실시예에 따른 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 시스템을 나타내는 도면이다. 도 2는 도 1의 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 시스템의 동작 개념을 나타내는 도면이다. 도 3은 도 1의 사용자 지향 자율주행 쇼핑카트 시스템 중 사용자 지향 자율주행 쇼핑카트(10)에 대한 설계 내역을 설명하기 위한 도면이다. 1 is a diagram illustrating a user-oriented autonomous shopping cart system through a non-contact user interface according to an embodiment of the present invention. FIG. 2 is a diagram illustrating an operation concept of a user-oriented autonomous shopping cart system via the non-contact user interface of FIG. 1; FIG. 3 is a diagram for explaining the design details of the user-oriented
도 1 내지 도 3을 참조하면, 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 시스템은 키넥트(11), RC 구동부(12), 스마트 모바일 디바이스(13), 쇼핑카트 본체(14) 그리고 휠체어(20)를 포함한다. 그리고, 도 2와 같이 키넥트(11), RC 구동부(12) 및 쇼핑카트 본체(14)는 사용자 지향 자율주행 쇼핑카트(10)를 구성한다. 도 2에서 스마트 모바일 디바이스(13)가 사용자 지향 자율주행 쇼핑카트(10) 상에 형성되나, 이것은 본 발명의 특징을 보다 구체적으로 나타내는 것으로, 스마트 모바일 디바이스(13)는 휠체어(20) 사용자가 소지하는 것이 바람직하다.1 to 3, a user-oriented autonomous shopping cart system via a non-contact user interface includes a
키넥트(Kinect)(10)는 별도의 컨트롤러 없이 사용자의 신체를 이용하여 게임과 엔터테인먼트를 경험할 수 있는 주변기기로 카메라와 같은 영상인식장치, 그리고 음성인식장치를 구비할 수 있다. 키넥트(11)는 게임분야뿐만 아니라 의학, 스포츠, 지체장애, 교육 분야에도 활발히 적용되어 다양한 산업에 적용되고 있다. 최근에는 사람의 수화동작을 자연어로 번역해 주는 기술이 발표되었으며, 키넥트(11)가 인식한 화면의 문자를 읽어 들여 시각장애인에게 소리로 바꾸어 전달해 주는 안경이 개발되고 있는 등 장애인을 위한 생활보조도구로도 발전하고 있다.A Kinect 10 is a peripheral device that can experience game and entertainment using a user's body without a separate controller, and can be equipped with an image recognition device such as a camera and a voice recognition device. Kinect (11) has been applied not only in the field of games but also in various fields such as medicine, sports, disability and education. In recent years, technologies have been introduced that translate the human sign language into natural language. Eyeglasses have been developed that read characters on the screen recognized by Kinect (11) and translate them into sounds for the visually impaired. It is also developing as a tool.
본 발명에서 키넥트(11)는 휠체어(20)에 탑승한 장애인의 움직임을 인식하여 직진, 오른쪽이동, 왼쪽이동, 정지 상태를 판단하는 정보를 제공함으로써, 그 결과에 따라 사용자 지향 자율주행 쇼핑카트(10)의 주행을 제어하도록 한다.In the present invention, the
즉, 키넥트(11)는 사용자 지향 자율주행 쇼핑카트(10) 상에 쇼핑카트 본체(14)와 일체로, 휠체어(20)를 향하여 형성됨으로써, 사용자 및 사용자의 모션을 인식한다.That is, the
보다 구체적으로, 사용자 지향 자율주행 쇼핑카트(10)에는 휠체어(20) 사용자와 그의 모션을 인식하기 위해 키넥트(11)가 부착될 수 있으며, 키넥트(11)는 사용자의 스켈레톤(뼈대) 정보를 추출하여, 근거리 무선통신을 통해 스마트 모바일 디바이스(13)로 제공한다. More specifically, the user-oriented
RC 구동부(12)는 쇼핑카트 본체(14)의 하부에 부착되어 쇼핑카트 본체(14)의 주행을 수행하기 위해 모터를 구비한다. 즉, RC 구동부(12)는 키넥트(11)에 의해 인식된 휠체어(20) 사용자 자체 그리고 사용자의 모션에 따른 스마트 모바일 디바이스(13)의 제어에 따라 전진, 멈춤, 왼쪽이동, 오른쪽이동을 수행이 가능하여야 한다. The
스마트 모바일 디바이스(13)는 도 2 및 도 3에서는 랩탑 컴퓨터로 도시되어 있으나, 이외에 쇼핑카트 본체(14)에 부착되거나, 휠체어(20)에 탑승한 사용자가 소지한 스마트 패드 또는 스마트폰 등으로 형성될 수 있다. 2 and 3, the smart
그리고, 스마트 모바일 디바이스(13)는 제어 어플리케이션(13a)을 구비하며, 제어 어플리케이션(13a)은 키넥트 제어모듈(13a-1) 및 RC 구동부 제어모듈(13a-2)로 구분된다. The smart
먼저, 키넥트 제어모듈(13a-1)은 키넥트(11)에 의해 수집된 영상을 분석하여 사용자의 스켈레톤(뼈대) 정보를 인식하고, 사용자의 오른쪽 또는 왼쪽 움직임을 분석한다. First, the Kinect
RC 구동부 제어모듈(13a-2)은 키넥트 제어모듈(13a-1)에 의해 분석된 결과에 따라 사용자와 동일한 움직임을 주기 위해 RC 구동부(12)의 바퀴를 제어한다. The RC driving
이러한 구성을 중심으로 제어 어플리케이션(13a)에 의한 사용자 지향 자율주행 쇼핑카트(10)의 RC 구동부(12) 제어 기반의 자율주행 제어방식에 대해 살펴본다.
A description will now be given of a control-based autonomous drive control system of the
[전진 및 멈춤][Forward and pause]
제어 어플리케이션(13a) 중 키넥트 제어모듈(13a-1)은 키넥트(11)에 의해 인식된 키넥트(11)와 이격된 휠체어(20) 사용자의 인식 정보를 생성한다. 이후 제어 어플리케이션(13a) 중 RC 구동부 제어모듈(13a-2)은 키넥트 제어모듈(13a-1)에 의해 휠체어(20) 사용자와 키텍트(11)에 인식된 사용자와 미리 설정된 거리(dm)를 유지하도록 사용자 지향 자율주행 쇼핑카트(10)의 RC 구동부(12)에 대한 제어를 통해 전진 또는 멈춤을 수행한다. The
즉, 키넥트 제어모듈(13a-1)은 키넥트(11)를 통해 인식된 휠체어(20) 사용자의 스켈레톤(뼈대) 정보 상의 중심점과 키넥트(11)와의 거리(깊이: depth)를 계산하여 임계거리(dm)보다 그 값이 커지면 전진 명령을 생성하여 RC 구동부 제어모듈(13a-2)로 전송하고, 임계거리(dm)보다 그 값이 작아지면 멈춤 명령을 생성하여 RC 구동부 제어모듈(13a-2)로 전송한다. 즉 도 4는 이러한 전진 및 멈춤 방식의 개념을 나타내는 도면이다.That is, the Kinect
[왼쪽이동 및 오른쪽이동] [Move Left and Move Right]
키넥트 제어모듈(13a-1)은 사용자 지향 자율주행 쇼핑카트(10) 상의 키넥트(11)에 의해 인식된 휠체어(20) 사용자의 스켈레톤(뼈대) 정보 중 무게 중심점을 기준으로 변화된 사용자 인식 정보를 기반으로 왼쪽이동 또는 오른쪽이동을 판단한다. 이에 따라, RC 구동부 제어모듈(13a-2)은 키넥트 제어모듈(13a-1)에 의해 인식된 휠체어(20) 사용자의 좌측 또는 우측으로 변화된 인식 정보 거리에 따른 RC 구동부(12)에 대한 제어를 통해 사용자 지향 자율주행 쇼핑카트(10)의 왼쪽이동 또는 오른쪽이동이 수행되도록 한다. The
즉, 키넥트 제어모듈(13a-1)은 키넥트(11)를 통해 인식된 휠체어(20) 사용자의 스켈레톤(뼈대) 정보 상의 중심점과 사용자의 좌측 또는 우측으로 변화된 인식 정보 거리에 따른 왼쪽이동 또는 오른쪽이동 명령을 RC 구동부 제어모듈(13a-2)로 전송함으로써, RC 구동부 제어모듈(13a-2)의 RC 구동부(12)에 대한 제어를 통해 왼쪽이동 또는 오른쪽이동 명령이 수행되도록 한다. That is, the
하기의 표 1은 제어 어플리케이션(13a)에 의해 수행되는 키넥트(11)로부터 수신되는 인식 및 생성되는 명령의 종류를 나타내는 도면이다. Table 1 below shows the types of recognized and generated commands received from the
키넥트(11)는 처음 인식한 사용자에 대한 추적을 통해 계속적인 인식 수행The
Kinect (11) performs continuous recognition by tracking the first recognized
RC 구동부(12)는 사용자가 이동하는 방향으로 구동
RC 구동부(12)는 사용자의 이동하는 속도와 비례한 속도로 구동
RC 구동부(12)는 사용자와 미리 설정된 임계거리(dm)를 유지하도록 구동
RC 구동부(12)는 인식된 사용자가 시야에서 벗어나면 사용자를 찾기 위해 90, 180, 270, 360도 회전하도록 구동The
The
The
The
The
한편, 키넥트 제어모듈(13a-1)은 키넥트(11)에서 한 사람의 스켈레톤(뼈대) 정보를 인식해야 하는데 두 명 이상의 사람을 인식하여 한 사람을 따라오다가 다른 사람을 따라가는 경우가 발생한다. 이를 위해 키넥트 제어모듈(13a-1)은 영상인식 기반의 스켈레톤 트래킹(SkeletonTracking) 방식을 이용한다.
On the other hand, the
그리고 도 5는 도 1의 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 시스템 중 스마트 모바일 디바이스(13)의 제어 어플리케이션(13a)에 의해 구현되는 UI 화면을 나타내는 참조도면이다. 그리고 도 6은 도 1의 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 시스템상에서 제어 어플리케이션(13a)에 의한 사용자 지향 자율주행 쇼핑카트(10)의 RC 구동부(12)에 대한 자율주행 제어방식인 전진 및 멈춤, 그리고 왼쪽이동 및 오른쪽이동을 구현하기 위한 프로그램 코드 정보를 나타내는 참조도면이다.
And FIG. 5 is a reference view showing a UI screen implemented by the
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device and the like, and also implemented in the form of a carrier wave (for example, transmission over the Internet) .
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
The computer readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner. And functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers skilled in the art to which the present invention pertains.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
As described above, preferred embodiments of the present invention have been disclosed in the present specification and drawings, and although specific terms have been used, they have been used only in a general sense to easily describe the technical contents of the present invention and to facilitate understanding of the invention , And are not intended to limit the scope of the present invention. It is to be understood by those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.
10: 사용자 지향 자율주행 쇼핑카트
11: 키넥트
12: RC 구동부
13: 스마트 모바일 디바이스
13a: 제어 어플리케이션
13a-1: 키넥트 제어모듈
13a-2: RC 구동부 제어모듈
14: 쇼핑카트 본체
20: 휠체어10: user-oriented autonomous shopping cart
11: Kinect
12: RC driver
13: Smart mobile devices
13a: Control application
13a-1: Kinect control module
13a-2: RC drive unit control module
14: Shopping cart body
20: Wheelchair
Claims (4)
휠체어(20) 사용자와 그의 모션을 인식하기 위해 사용자 지향 자율주행 쇼핑카트(10)에 부착되며, 사용자의 스켈레톤(뼈대) 정보를 추출하여, 근거리 무선통신을 통해 스마트 모바일 디바이스(13)로 제공하는 키넥트(11); 및
사용자 지향 자율주행 쇼핑카트(10)의 하부에 부착되어 쇼핑카트 본체(14)의 주행을 수행하기 위해 모터를 구비하며, 키넥트(11)에 의해 인식된 휠체어(20) 사용자 자체 그리고 사용자의 모션에 따른 스마트 모바일 디바이스(13)의 제어에 따라 전진, 멈춤, 왼쪽이동, 오른쪽이동을 수행하는 RC 구동부(12); 를 포함하는 것을 특징으로 하는 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 시스템.
A user-oriented autonomous shopping cart system via a non-contact user interface comprising a wheelchair (20) and a user-oriented autonomous shopping cart (10)
Oriented autonomous shopping cart 10 in order to recognize the user of the wheelchair 20 and its motion and extracts the skeleton information of the user and provides it to the smart mobile device 13 via short- Kinect (11); And
A user who is attached to the lower portion of the user-oriented autonomous shopping trolley 10 and has a motor for performing the running of the shopping cart body 14 and is provided with the user of the wheelchair 20 perceived by the keynote 11, An RC drive unit 12 for performing forward, stop, leftward movement, and rightward movement in accordance with the control of the smart mobile device 13 according to the control of the smart mobile device 13; Wherein the shopping cart system comprises a user interface unit and a user interface unit.
키넥트(11)에 의해 인식된 사용자가 시야에서 벗어나면 사용자를 찾기 위해 90, 180, 270, 360도 회전하도록 구동되는 것을 특징으로 하는 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 시스템.
[3] The apparatus of claim 1, wherein the RC driver (12)
And is rotated so as to rotate at 90, 180, 270, 360 degrees in order to find a user when the user recognized by the keynote (11) is out of sight.
RC 구동부 제어모듈(13a-2)이 키넥트 제어모듈(13a-1)에 의해 휠체어(20) 사용자와 키텍트(11)에 인식된 사용자와 미리 설정된 거리(dm)를 유지하도록 사용자 지향 자율주행 쇼핑카트(10)의 RC 구동부(12)에 대한 제어를 통해 전진 또는 멈춤을 수행하는 제 2 단계; 를 포함하는 것을 특징으로 하는 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 제어방법.
A first step in which the Kinect control module (13a-1) generates recognition information of a user of the wheelchair (20) remote from the Kinect (11) recognized by the Kinect (11); And
The RC driver control module 13a-2 controls the user of the wheelchair 20 and the user recognized by the kinect control module 13a-1 to maintain the predetermined distance dm with respect to the user recognized by the kinetic control module 13a-1. A second step of performing a forward or a stop by controlling the RC drive unit 12 of the shopping cart 10; The method comprising the steps of: (a) providing a non-contact user interface (UI);
키넥트 제어모듈(13a-1)이 키넥트(11)를 통해 인식된 휠체어(20) 사용자의 스켈레톤(뼈대) 정보 상의 중심점과 키넥트(11)와의 거리(깊이: depth)를 계산하여 임계거리(dm)보다 연산된 거리값이 커지면 전진 명령을 생성하여 RC 구동부 제어모듈(13a-2)로 전송하고, 임계거리(dm)보다 연산된 거리값이 작아지면 멈춤 명령을 생성하여 RC 구동부 제어모듈(13a-2)로 전송하는 것을 특징으로 하는 비접촉성 사용자 인터페이스를 통한 사용자 지향 자율주행 쇼핑카트 제어방법.4. The method of claim 3,
The depth (depth) between the central point on the skeleton information of the user of the wheelchair 20 recognized by the keynote 11 through the keynote control module 13a-1 and the keynote 11 is calculated, (dm), a forward command is generated and transmitted to the RC driving unit control module 13a-2. When the distance value calculated from the threshold distance dm becomes small, a stop command is generated, (13a-2). The method of claim 1, wherein the non-contact shopping cart control method comprises:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150020348A KR101709683B1 (en) | 2015-02-10 | 2015-02-10 | System for user oriented autonomous shopping cart by non-contacting user interface, and method for controlling autonomous shopping cart using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150020348A KR101709683B1 (en) | 2015-02-10 | 2015-02-10 | System for user oriented autonomous shopping cart by non-contacting user interface, and method for controlling autonomous shopping cart using the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160097894A true KR20160097894A (en) | 2016-08-18 |
| KR101709683B1 KR101709683B1 (en) | 2017-02-23 |
Family
ID=56874359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150020348A KR101709683B1 (en) | 2015-02-10 | 2015-02-10 | System for user oriented autonomous shopping cart by non-contacting user interface, and method for controlling autonomous shopping cart using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101709683B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022114380A1 (en) * | 2020-11-27 | 2022-06-02 | 주식회사 티티엔지 | Routine-based cart system operating by recognizing specific behavior of user, and cart control method using system |
| US11487290B2 (en) | 2019-10-08 | 2022-11-01 | Toyota Motor North America, Inc. | Systems and methods for tracking an accessory by a wheelchair and coupling the wheelchair to the accessory |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200055164A (en) | 2018-11-01 | 2020-05-21 | 한국기술교육대학교 산학협력단 | Mapping based autonomous cart and its control method |
| KR101987868B1 (en) | 2018-11-29 | 2019-06-11 | 주식회사 트위니 | Obstacle avoidance method in state-time space and recording medium storing program for executing the same, and computer program stored in recording medium for executing the same |
| KR102018832B1 (en) | 2018-11-29 | 2019-11-04 | 주식회사 트위니 | Automatic driving cart |
| US11651404B2 (en) | 2021-08-31 | 2023-05-16 | Kyndryl, Inc. | Virtual shopping assistant |
| KR102539265B1 (en) | 2022-02-07 | 2023-06-02 | 이상훈 | Semi-Self-driving cart assisted by electricity |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006155039A (en) * | 2004-11-26 | 2006-06-15 | Toshiba Corp | Store robot |
-
2015
- 2015-02-10 KR KR1020150020348A patent/KR101709683B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006155039A (en) * | 2004-11-26 | 2006-06-15 | Toshiba Corp | Store robot |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11487290B2 (en) | 2019-10-08 | 2022-11-01 | Toyota Motor North America, Inc. | Systems and methods for tracking an accessory by a wheelchair and coupling the wheelchair to the accessory |
| WO2022114380A1 (en) * | 2020-11-27 | 2022-06-02 | 주식회사 티티엔지 | Routine-based cart system operating by recognizing specific behavior of user, and cart control method using system |
| KR20220074521A (en) * | 2020-11-27 | 2022-06-03 | 주식회사 티티엔지 | A routine-based cart system that recognizes and operates a user's specific behavior and a cart control method using the system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101709683B1 (en) | 2017-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101709683B1 (en) | System for user oriented autonomous shopping cart by non-contacting user interface, and method for controlling autonomous shopping cart using the same | |
| Hersh | Overcoming barriers and increasing independence–service robots for elderly and disabled people | |
| Azenkot et al. | Enabling building service robots to guide blind people a participatory design approach | |
| Bajones et al. | Hobbit: providing fall detection and prevention for the elderly in the real world | |
| Hakobyan et al. | Mobile assistive technologies for the visually impaired | |
| US9316502B2 (en) | Intelligent mobility aid device and method of navigating and providing assistance to a user thereof | |
| Palopoli et al. | Navigation assistance and guidance of older adults across complex public spaces: the DALi approach | |
| JP2021530069A (en) | Situational driver monitoring system | |
| Chatterjee et al. | Classification of wearable computing: A survey of electronic assistive technology and future design | |
| Rajendran et al. | Design and implementation of voice assisted smart glasses for visually impaired people using google vision api | |
| Bhatlawande et al. | Electronic bracelet and vision-enabled waist-belt for mobility of visually impaired people | |
| Hong et al. | Development and application of key technologies for Guide Dog Robot: A systematic literature review | |
| Ilag et al. | Design review of smart stick for the blind equipped with obstacle detection and identification using artificial intelligence | |
| KR20150145429A (en) | A navigation function visually impaired Smart Stick system | |
| Alam et al. | Designing and implementation of a wireless gesture controlled robot for disabled and elderly people | |
| Tomari et al. | Enhancing wheelchair manoeuvrability for severe impairment users | |
| US11886190B2 (en) | Method for controlling robot, robot, and recording medium | |
| Khan et al. | Electronic guidance cane for users having partial vision loss disability | |
| Ramaraj et al. | Development of a Modular Real-time Shared-control System for a Smart Wheelchair | |
| Kutbi et al. | Egocentric Computer Vision for Hands-Free Robotic Wheelchair Navigation | |
| Liu et al. | A novel economical embedded multi-mode intelligent control system for powered wheelchair | |
| Zhu et al. | Running guide: Design of a marathon navigation system for visually impaired people | |
| Conradie et al. | Blind user requirements to support tactile mobility | |
| US20220289229A1 (en) | Control device and presentation system | |
| Kalaivani et al. | An Artificial Eye for Blind People |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20200203 Year of fee payment: 4 |