KR20240026057A - 사용자의 신체부위가 목표물에 닿을 수 있도록 사용자를 피드백하는 목표물 도달 시스템 및 그 동작방법 - Google Patents
사용자의 신체부위가 목표물에 닿을 수 있도록 사용자를 피드백하는 목표물 도달 시스템 및 그 동작방법 Download PDFInfo
- Publication number
- KR20240026057A KR20240026057A KR1020220119037A KR20220119037A KR20240026057A KR 20240026057 A KR20240026057 A KR 20240026057A KR 1020220119037 A KR1020220119037 A KR 1020220119037A KR 20220119037 A KR20220119037 A KR 20220119037A KR 20240026057 A KR20240026057 A KR 20240026057A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- body part
- target
- image
- mobile terminal
- Prior art date
Links
- 238000000034 method Methods 0.000 title abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000004891 communication Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 2
- 101150050927 Fcgrt gene Proteins 0.000 claims 1
- 102100026120 IgG receptor FcRn large subunit p51 Human genes 0.000 claims 1
- 241000287828 Gallus gallus Species 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 235000015220 hamburgers Nutrition 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000001771 impaired effect Effects 0.000 description 4
- 235000013550 pizza Nutrition 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011017 operating method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 235000013330 chicken meat Nutrition 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Abstract
본 발명의 실시예들은 목표물 도달 시스템의 동작 방법에 관한 것으로서, 서버가 휴대단말기로 사용자의 신체부위를 촬영한 학습 이미지에 기초하여 신체부위의 객체 검출 모델을 생성하고, 휴대단말기가 촬영한 이미지에서 하나 이상의 객체를 파악하고, 인식 이미지를 신체부위 객체 검출 모델에 적용하여 신체부위의 위치를 결정하고, 신체부위의 위치와 목표물 객체 영역 사이의 거리 또는 방향을 측정한 정보를 활용하여 사용자의 신체부위의 위치가 목표물과 접촉할 수 있도록 사용자를 피드백하는 단계들을 포함하는 것을 특징으로 한다.
Description
본 발명의 실시예들은 사용자의 신체부위가 목표물에 닿을 수 있도록 사용자를 피드백하는 목표물 도달 시스템과 그 동작방법을 나타낸 것이다. 보다 구체적으로, 본 발명의 실시예들에 따른 목표물 도달 시스템은 휴대단말기로 사용자의 신체부위 및 목표물을 촬영한 후 진동 또는 음성을 통해 사용자를 피드백하여 사용자의 신체부위가 목표물을 터치할 수 있게끔 유도할 수 있다.
증강현실(Augmented Reality; AR)은 실제 공간에 가상정보를 실시간으로 증강시켜서 사용자가 증강된 가상정보와 상호작용함으로서 원하는 목표를 달성하게 하는 기술이다. 이러한 AR 기술은 PC 화면에서도 구현가능하나, 콘텐츠를 사용자에게 보다 생동감있게 전달하기 위해 사용자가 직접 두부에 착용하는 웨어러블 디바이스(Wearable Device)에서 구현되거나, 사용자가 일상적으로 사용하는 스마트폰 등 휴대단말기(Mobile Device)에서 구현되는 것이 일반적이다.
증강현실이 휴대단말기에서 구현될 경우 사용자는 휴대단말기에 구비된 카메라를 통하여 주위의 환경을 촬영하고, 휴대단말기의 프로세서는 촬영된 영상을 증강시킨 이미지를 휴대단말기의 디스플레이상에 표시하여 사용자에게 제공하는 것이 일반적이다.
증강현실의 구현 과정에서 사용자 주변의 영상을 촬영하는 경우, 영상 속 이미지에 포함된 객체들을 구분하고 분석하여 그 정보를 사용자에게 제공하는 기술이 널리 알려져 있다. 이 때 객체들을 구분 및 분석함에 있어서 다양한 딥 러닝(Deep Learinig) 또는 머신 러닝(Machine Learning) 기술이 사용된다.
이러한 증강현실 기술은 시각장애인들의 활동을 보조하기 위한 수단으로 사용되기도 한다. 휴대단말기를 활용하여 시각장애인의 활동을 보조하기 위한 기존의 배경기술은, 특정한 사물을 NFC 태그로 지정하는 방식을 통해 해당사물을 인지하여 사용자에게 사물에 대한 정보를 피드백하거나, 휴대단말기로 특정 객체를 촬영하여 촬영된 물체에 대한 정보를 점자를 통하여 제공해주는 방법을 개시하고 있다. 그러나 위 발명들은 사용자에게 단순히 정보를 제공하는 역할을 할 뿐, 시각장애인의 동작을 보조하는 효과는 없다.
본 발명은 전술한 배경기술들의 한계점을 개선하고 시각장애인이 목표물에 도달하기 위한 피드백 시스템을 구체화한 것이다.
실시예들에 따른 목표물 도달 시스템의 동작 방법은, 서버가 휴대단말기로 사용자의 신체부위를 촬영한 학습 이미지에 기초하여 신체부위 객체 검출 모델을 생성하는 제1 단계, 휴대단말기가 사용자의 명령을 수신하여 명칭, 식별정보, 형상 중 적어도 하나에 해당하는 목표물을 설정하는 제2 단계, 휴대단말기로 사용자 주위를 촬영하여 이미지를 생성하고, 휴대단말기와 통신하는 서버가 이미지에 포함된 적어도 하나 이상의 객체를 파악하는 제3 단계, 서버가 적어도 하나 이상의 객체 중 목표물과 동일한 목표물 객체의 영역을 선택하는 제4 단계, 서버가 인식 이미지를 신체부위 객체 검출 모델에 적용하여 사용자의 신체부위의 위치를 결정하는 제5 단계, 신체부위의 위치와 목표물 객체의 영역 사이의 거리 또는 방향을 측정한 정보를 서버로부터 휴대단말기에 전송하는 제6 단계, 신체부위의 위치가 목표물과 접촉할 수 있도록 사용자를 피드백하는 제7 단계를 포함할 수 있다.
또한 본 발명이 포함하는 제3 단계는, 객체 알고리즘을 이용하여 촬영된 이미지로부터 적어도 하나 이상의 객체를 도출할 수 있다.
또한 본 발명이 포함하는 제3 단계는, 도출된 객체 중 하나가 신체부위 의 위치와 겹쳐지는 경우 위 겹쳐진 객체의 정보를 사용자에게 제공할 수 있다. 이 때 객체의 정보는 객체의 명칭, 식별정보 및 형상 중 적어도 하나를 포함할 수 있다.
또한 본 발명이 포함하는 제3 단계는, 인식 이미지로부터 그림영역을 적어도 하나 이상 추출하는 단계를 더 포함할 수 있고, 또한 인식 이미지로부터 텍스트영역을 적어도 하나 이상 추출하는 단계를 더 포함할 수 있고, 그림영역과 텍스트영역을 각각 대응시키는 단계를 더 포함할 수 있다.
또한 실시예들에 따른 목표물 도달 시스템의 동작 방법은, 신체부위의 위치가 목표물 객체의 영역에 도달하지 않은 경우 제3 단계 내지 제7 단계를 반복하고, 신체부위의 위치가 목표물 객체의 영역에 도달한 경우 반복을 중단한 후 신체부위의 위치가 목표물 객체의 영역에 접촉하였다는 사실을 사용자에게 피드백 할 수 있다.
또한 본 발명이 포함하는 제3 단계는, 객체를 파악하기 위하여 R-CNN, SSD 및 YOLO 중 어느 하나 이상의 객체 검출 모델을 이용할 수 있다.
또한 본 발명이 포함하는 제4 단계는, 거리 및 방향을 측정함에 있어서 FCRN, DORN, Monodepth 및 Monodepth2 중 적어도 하나 이상의 거리 측정 모델을 이용할 수 있다.
또한 본 발명이 포함하는 제7 단계는, 사용자를 피드백함에 있어서 휴대단말기의 진동을 이용할 수 있고, 사용자 신체부위 위치가 상기 목표물에 가까이 갈수록 상기 진동의 세기가 강해지는 것을 특징으로 할 수 있다.
도 1는 본 발명의 일 실시예에 따른 휴대단말기를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 목표물 도달 시스템의 동작 방법을 실현하기 위한 구성장치 및 그 작동방법을 나타낸 개념도이다.
도 3은 본 발명의 일 실시예에 따른 목표물 도달 시스템의 동작 방법을 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 목표물 도달 시스템의 동작 방법을 구체화하기 위한 개념도이다.
도 5는 본 발명의 일 실시예에 따른 목표물 도달 시스템에서, 휴대단말기의 동작 방법을 나타낸 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 목표물 도달 시스템에서, 서버의 동작 방법을 나타낸 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 목표물 도달 시스템에서 그림영역과 텍스트영역을 대응시키는 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 목표물 도달 시스템의 동작 방법을 실현하기 위한 구성장치 및 그 작동방법을 나타낸 개념도이다.
도 3은 본 발명의 일 실시예에 따른 목표물 도달 시스템의 동작 방법을 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 목표물 도달 시스템의 동작 방법을 구체화하기 위한 개념도이다.
도 5는 본 발명의 일 실시예에 따른 목표물 도달 시스템에서, 휴대단말기의 동작 방법을 나타낸 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 목표물 도달 시스템에서, 서버의 동작 방법을 나타낸 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 목표물 도달 시스템에서 그림영역과 텍스트영역을 대응시키는 방법을 설명하기 위한 도면이다.
개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명이 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다. 또한 복수의 표현은 문맥상 명백하게 복수인 것으로 특정하지 않는 한, 단수의 표현을 포함한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어 또는 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
본 발명의 일 실시예에 따르면 "부"는 프로세서 및 메모리로 구현될 수 있다. 용어 "프로세서"는 범용 프로세서, 중앙 처리 장치 (CPU), 마이크로프로세서, 디지털 신호 프로세서 (DSP), 제어기, 마이크로제어기, 상태 머신 등을 포함하도록 넓게 해석되어야 한다. 몇몇 환경에서는, "프로세서"는 주문형 반도체 (ASIC), 프로그램가능 로직 디바이스 (PLD), 필드 프로그램가능 게이트 어레이 (FPGA) 등을 지칭할 수도 있다. 용어 "프로세서"는, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, DSP 코어와 결합한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성들의 조합과 같은 처리 디바이스들의 조합을 지칭할 수도 있다. 용어 "메모리"는 전자 정보를 저장 가능한 임의의 전자 컴포넌트를 포함하도록 넓게 해석되어야 한다. 용어 메모리는 임의 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 비-휘발성 임의 액세스 메모리 (NVRAM), 프로그램가능 판독-전용 메모리 (PROM), 소거-프로그램가능 판독 전용 메모리 (EPROM), 전기적으로 소거가능 PROM (EEPROM), 플래쉬 메모리, 자기 또는 광학 데이터 저장장치, 레지스터들 등과 같은 프로세서-판독가능 매체의 다양한 유형들을 지칭할 수도 있다. 프로세서가 메모리로부터 정보를 판독하고/하거나 메모리에 정보를 기록할 수 있다면 메모리는 프로세서와 전자 통신 상태에 있다고 불린다. 프로세서에 집적된 메모리는 프로세서와 전자 통신 상태에 있다.
아래에서는 첨부한 도면을 참고하여 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도 1는 본 발명의 일 실시예에 따른 휴대단말기(100)를 나타낸 도면이다.
휴대단말기(100)는 스마트폰(Smart Phone) 또는 웨어러블 디바이스(Wearable Device)일 수 있다. 휴대단말기(100)는 프로세서(110) 및 메모리(120)를 포함할 수 있다. 프로세서(110)는 메모리(120)에 저장되어 있는 명령어에 기초하여 동작을 수행할 수 있다. 하지만 이에 한정되는 것은 아니며, 프로세서(110)는 입력 신호에 기초하여 미리 설정된 신호를 미리 설정된 시간동안 출력 라인으로 출력하도록 설정되어 있을 수 있다.
휴대단말기(100)는 주위 환경을 촬영할 수 있는 카메라를 구비할 수 있으며, 일 면에는 촬영된 이미지를 표시하는 디스플레이를 구비할 수 있다. 휴대단말기(100)는 마이크를 구비하여 사용자의 명령어 또는 주위 소리를 인식할 수 있다. 휴대단말기(100)는 인터넷 또는 네트워크를 통하여 서버(200)와 통신할 수 있다. 휴대단말기(100)는 진동 또는 소리를 내어 원하는 목표를 달성하기 위해 사용자를 피드백 할 수 있다.
이하, 목표물 도달 시스템의 동작 방법에 대하여 보다 자세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 목표물 도달 시스템의 동작을 실현하기 위한 구성장치 및 그 작동 방법을 나타낸 개념도이다.
본 발명의 실시예들에 따르면, 사용자는 휴대단말기(100)에 구비된 마이크에 대해 음성 명령을 입력할 수 있다. 휴대단말기(100)는 사용자의 명령을 수신하여 사용자의 신체부위가 도달해야 하는 목표물을 설정할 수 있다. 또한 사용자는 휴대단말기(100)에 구비된 카메라를 활용하여 사용자 주위에 있는 환경을 촬영할 수 있으며, 휴대단말기(100)는 네트워크를 활용하여 촬영된 영상 및/또는 이미지를 서버(200)로 전송할 수 있다. 서버(200)는 전송받은 영상에서 이미지를 추출한 후, 이미지에 포함된 적어도 하나 이상의 객체를 파악할 수 있다. 서버(200)가 단일한 이미지를 전송받는 경우, 서버(200)는 해당 이미지에서 적어도 하나 이상의 객체를 파악할 수 있다.
서버(200)는 사용자의 신체부위와 목표물 사이의 거리 및/또는 방향을 측정한 정보(Vector Information)를 휴대단말기(100)에 전송할 수 있으며, 휴대단말기(100)는 전송받은 거리 및/또는 방향 정보를 바탕으로 사용자의 신체부위가 목표물과 접촉할 수 있도록 사용자를 피드백 할 수 있다.
이하 도 3을 참조하여, 본 발명 실시예들에 따른 목표물 도달 시스템의 동작 방법이, 사용자로 하여금 사용자의 신체부위가 목표물과 접촉할 수 있도록 사용자를 피드백하는 방법을 살펴본다.
실시예들에 따른 발명은, 서버가 휴대단말기(100)로 사용자의 신체부위를 촬영하여 신체부위 객체 검출 모델을 생성하는 제1 단계(S101)를 포함할 수 있다. 이 때 신체부위 객체 검출 모델은 CNN 등을 활용한 기존 객체 검출 모델을 활용하여 생성 및 확정될 수 있다. 구체적으로, 서버(200)가 포함하는 기존의 객체 검출 모델은 인간 신체부위의 다양한 부분을 인식할 수 있는 인공지능 신경망을 포함할 수 있다. 예를 들어, 사용자가 휴대단말기(100)로 자신의 신체부위인 오른손을 촬영하는 경우, 기존 객체 검출 모델은 해당 이미지가 '인간의 오른손'에 해당함을 인식하고, 신체부위 객체 검출 모델에 의하여 사용자의 오른손의 위치를 결정할 수 있다. 이렇게 결정된 사용자의 오른손은, 촬영된 영상에서 사용자 신체부위 이미지(300) 영역으로서 취급될 수 있다. 또한 실제 사용자의 신체부위가 존재하는 위치는 사용자 신체부위 이미지(300)를 통하여 확인될 수 있다.
또한 실시예들에 따른 발명은, 휴대단말기(100)가 사용자의 명령을 수신하여 목표물을 설정하는 제2 단계(S102)를 포함할 수 있다. 이 때 목표물 설정은 사용자가 말한 음성을 휴대단말기(100)가 수신하거나, 사용자가 휴대단말기(100)에 텍스트 또는 명령어를 입력하여 이루어질 수 있다.
또한 실시예들에 따른 발명은, 휴대단말기(100)로 사용자 주위를 촬영하여 인식 영상 및/또는 인식 이미지를 생성하고 서버(200)는 이를 전송받아 인식 영상 및/또는 인식 이미지에 포함된 적어도 하나 이상의 객체를 파악하는 제3 단계(S103)를 포함할 수 있다. 구체적으로, 제3 단계(S103)는 촬영된 이미지에 목표물과 동일한 객체가 존재하는지 확인하는 단계를 포함할 수 있으며, 촬영된 이미지에 신체부위가 존재하는지 확인하는 단계를 더 포함할 수 있다. 구체적으로, 제3 단계(S103)는 객체 알고리즘 및/또는 CNN을 이용하여 촬영된 이미지로부터 적어도 하나 이상의 객체를 도출할 수 있으며, 텍스트를 실시간으로 검출할 수 있다. 이러한 객체 알고리즘 및/또는 CNN의 구성은 이후 구체적으로 후술한다. 또한 인식 영상 및/또는 인식 이미지는 동영상이나 정지영상 중 적어도 하나를 포함할 수 있다. 이들이 포함하는 객체란, 객체 그 자체 뿐 아니라 객체의 명칭, 식별정보 및 형상 중 적어도 하나 이상의 정보를 포함할 수 있다.
또한 실시예들에 따른 발명은, 서버(200)가 적어도 하나 이상의 객체 중 목표물과 동일한 목표물 객체의 영역을 선택하는 제4 단계(S104)를 포함할 수 있다. 이 때 목표물 객체의 영역이란, 영상 및/또는 이미지에 나타난 영역으로서, 제2 단계(S102)의 목표물에 대응될 수 있다. 그러나 목표물 객체의 영역과 목표물은 동일한 정보는 아닐 수 있다.
또한 실시예들에 따른 발명은, 서버(200)가 인식 이미지를 신체부위 객체 검출 모델에 적용하여 사용자의 신체부위의 위치를 결정하는 제5 단계(S105)를 더 포함할 수 있다. 이 때 서버는 신체부위 객체 검출 모델 및/또는 사용자 신체부위 이미지에 기초하여 인식 이미지 내에서 신체부위의 영역을 획득하고, 신체부위의 영역 중 최상단에 위치한 픽셀을 포함하는 영역을 신체부위의 위치로 결정할 수 있다. 영상은 복수의 픽셀들을 포함할 수 있으며 픽셀의 좌표는 좌상단을 원점(0,0)으로 하여 우측으로 갈수록 x축의 값이 증가하고, 하측으로 갈수록 y축의 값이 증가할 수 있다. 서버(200)는 신체부위의 영역 중 y축의 값이 가장 작은 픽셀의 위치를 신체부위의 위치로 결정할 수 있다. 이러한 신체부위의 영역은, 본 발명 도면에서 예시로 들고 있는 사용자 신체부위 이미지(300)로서 나타날 수 있다.
또한 실시예들에 따른 발명은, 사용자의 신체부위의 위치와 목표물 객체의 영역 사이의 거리 및/또는 방향을 측정한 정보를 서버(200)로부터 휴대단말기(100)에 전송하는 제6 단계(S106)를 포함할 수 있다. 이 때 서버(200)는 FCRN, DORN, Monodepth 및/또는 Monodepth2 중 적어도 하나 이상의 깊이추정 모델을 이용하여 사용자의 신체부위와 목표물 사이의 거리 및/또는 방향을 측정할 수 있다. 이러한 깊이추정 모델의 구성은 이후 구체적으로 후술한다.
또한 실시예들에 따른 발명은 사용자 신체부위 이미지(300)가 목표물과 접촉할 수 있도록 사용자를 피드백하는 제7 단계(S107)를 포함할 수 있다. 휴대단말기(100)는 진동 또는 소리를 이용하여 사용자를 피드백 할 수 있다. 또한 사용자 신체부위 이미지(300)가 목표물과 겹쳐지게 되는 경우, 목표물에 도달이 완료되었다는 피드백을 사용자에게 제공할 수 있다.
또한 실시예들에 따른 발명은, 사용자 신체부위의 위치가 목표물 객체의 영역에 도달하지 않은 경우, 제3 단계(S103) 내지 제7 단계(S107)를 반복하고, 신체부위의 위치가 목표물 객체의 영역에 도달한 경우 반복을 중단하고 신체부위의 위치가 목표물 객체의 영역에 접촉하였다는 것을 피드백 할 수 있다.
이하 도4(a) 내지 (f)를 참조하여 본 발명 실시예에 따른 목표물 도달 시스템의 동작 방법이 작동하는 방법을 구체적으로 살핀다.
도4(a)는 휴대단말기(100)가 사용자의 신체부위에 대항하는 오른손을 촬영하여 신체부위 객체 검출 모델을 생성하는 과정을 나타낸 것이다. 휴대단말기(100)는 촬영중인 영상을 실시간으로 서버(200)에 전송하며, 서버(200)는 객체 검출 모델을 활용하여 전송받은 영상 및/또는 이미지가 사용자의 신체부위의 이미지를 포함하는 것을 인지하고, 촬영된 사용자의 오른손을 사용자 신체부위 이미지(300)로 설정할 수 있다. 이 때 사용자의 오른손을 신체부위로서 인식하는 객체 검출 모델은 서버(200)에 미리 생성되어 있을 수 있다.
도4(b)는 사용자가 주위의 환경을 촬영하여 이미지를 생성하는 것을 나타내고 있으며, 휴대단말기(100)는 사용자로부터 음성으로 명령을 수신하여 목표물을 설정하는 것을 나타낸 실시예이다.
구체적으로, 사용자는 휴대단말기(100)로 자신의 앞에 세워진 키오스크(400)를 촬영하고 있으며 촬영된 영상은 서버(200)에 실시간으로 전송될 수 있다. 휴대단말기(100)의 디스플레이는 사용자가 촬영한 영상을 실시간으로 표시할 수 있다. 이 때 사용자가 음성으로 '햄버거를 먹는다'는 명령을 입력하는 경우, 휴대단말기(100)는 사용자의 명령을 수신하여 '햄버거'를 목표물로 설정할 수 있다. 또한 키오스크(400)에는 햄버거, 피자, 치킨 3개의 메뉴가 있고 실시예들에 따른 발명은 햄버거의 이미지를 제1 객체(1001)로 파악하고, 피자의 이미지를 제2 객체(1002)로 파악하고, 치킨의 이미지를 제3 객체(1003)로 파악할 수 있다. 여기서 햄버거는 제1 객체(1001)에 대응되는 바, 휴대단말기(100)는 사용자 신체부위 이미지(300)에 대응되는 사용자의 손이 제1 객체(1001)에 접촉할 수 있도록 사용자에게 피드백 할 수 있다. 본 개시에서 휴대단말기(100)는 사용자 신체부위 이미지(300)가 제 1 객체(1001)에 접촉하였는지 여부를 판단하기 위하여 사용자 신체부위 이미지(300)가 제 1 객체(1001)의 영역과 접촉하는지를 결정할 수 있다. 사용자 신체부위 이미지(300)가 제 1 객체(1001)의 영역에 접촉하는 경우, 사용자 신체부위 이미지(300)가 제 1 객체(1001)에 접촉하였음을 결정할 수 있다. 또한, 신체부위의 이미지(300)가 제 1 객체(1001)의 영역에 포함되지 않는 경우 사용자 신체부위 이미지(300)가 제 1 객체(1001)에 접촉하지 않았음을 결정할 수 있다.
본 개시의 다양한 실시예에서 휴대단말기(100)는 사용자 신체부위 이미지(300)가 제 1 객체(1001)에 접촉하였는지 여부를 판단하기 위하여 신체부위의 위치가 제 1 객체(1001)의 영역에 포함되는지를 결정할 수 있다. 또한, 신체부위의 위치가 제 1 객체(1001)의 영역에 포함되는 경우 사용자 신체부위 이미지(300)가 제 1 객체(1001)에 접촉하였음을 결정할 수 있다. 또한, 신체부위의 위치가 제 1 객체(1001)의 영역에 포함되지 않는 경우 사용자 신체부위 이미지(300)가 제 1 객체(1001)에 접촉하지 않았음을 결정할 수 있다.도 4(c)는 사용자가 촬영한 영상에서 사용자 신체부위 이미지(300)의 일부만이 파악되는 경우, 사용자 신체부위 이미지(300) 전체가 촬영되는 화면에 나타날 수 있게끔 사용자를 피드백하는 방법을 나타낸 것이다.
구체적으로 사용자의 오른손이 피드백 대상이 되는 사용자 신체부위)로 설정된 후, 휴대단말기(100) 카메라에 오른손을 너무 가깝게 위치시켜서 사용자 신체부위 이미지(300)가 전부 파악되지 않을 수 있으며, 휴대단말기(100) 카메라가 촬영하는 화각 이내에 오른손을 위치시키지 않아 사용자 신체부위 이미지(300)의 일부만이 파악되는 경우도 존재한다. 이 때 휴대단말기(100)가 사용자 신체부위 이미지(300)의 일부만이 파악되는 것을 감지하는 경우, 휴대단말기(100)는 소리 및/또는 진동을 통해 사용자를 피드백하여 사용자 신체부위 이미지(300) 전체가 휴대단말기(100) 카메라 화각 내부에 위치하게끔 작동할 수 있다.
도 4(c)에서 사용자의 오른손은 휴대단말기(100) 카메라에 너무 가깝게 위치하고 있는 동시에 오른쪽 아래로 치우쳐 위치하고 있다. 이 도면의 실시예에서는 사용자의 오른손 일부만이 촬영되고 있다. 실시예들에 따른 발명이 개시하는 휴대단말기(100)는 사용자에게 카메라를 손으로부터 멀리 위치시키고 하고, 카메라를 오른쪽으로 이동시켜 사용자의 오른손 전체가 영상 및/또는 이미지에 포함될 수 있게끔 피드백할 수 있다.
도 4(d) 내지 (e)는 사용자가 휴대단말기(100)로 자신의 주위에 있는 키오스크(400)를 촬영하여 실시간으로 서버(200)에 전송하고, 서버(200)는 수신받은 영상 및/또는 이미지를 실시간으로 분석하여 휴대단말기(100)에 분석한 내용을 전달하는 실시예를 나타낸다. 이 도면 실시예가 개시하는 발명을 활용하면, 휴대단말기(100)는 사용자가 원하는 메뉴를 선택할 수 있도록 진동 및/또는 소리를 활용하여 사용자를 피드백할 수 있다.
도 4(d)에서 사용자 신체부위 이미지(300)는 제3 객체(1003)와 접촉하고 있으며, 서버(200)는 현재 사용자가 '치킨'메뉴를 선택하고 있다는 것을 사용자에게 피드백할 수 있다. 즉, 신체부위의 위치가 '치킨'메뉴의 영역에 포함되는 경우 사용자 신체부위 이미지(300)가 '치킨' 메뉴에 접촉하였고, 사용자가 '치킨'메뉴를 선택하고 있음을 결정할 수 있다. 또한 사용자가 설정한 목표물인 제1 객체(1001)는 현재 사용자 신체부위 이미지(300)의 위치로부터 어느 방향으로 얼마나 떨어져 있는 것인지 피드백 하는 것이 가능하다.
도 4(e)에서 사용자 신체부위 이미지(300)는 제2 객체(1002)의 근처에 있으며, 서버(200)는 현재 사용자가 아무런 메뉴도 선택하고 있지 않다는 것을 사용자에게 피드백할 수 있다. 즉, 신체부위의 위치가 영상에 있는 적어도 하나의 객체의 영역에 포함되지 않는 경우 사용자 신체부위 이미지(300)가 객체에 접촉하지 않았음을 결정할 수 있다. 또한, 서버(200)는 적어도 하나의 객체의 중 신체부위의 위치와 가장 가까운 객체를 제 2 객체(1002)로 결정할 수 있다. 서버(200)는 사용자 신체부위 이미지(300)가 제2 객체(1002)의 근처에 있으나, 현재 사용자가 아무런 메뉴도 선택하고 있지 않다는 것을 사용자에게 피드백할 수 있다. 서버(200)는 신체부위의 위치로부터 제 2 객체(1002)로 향하기 위한 방향을 소리 또는 진동으로 출력하도록 휴대단말기(100)를 제어할 수 있다. 예를 들어, 휴대단말기(100)는 좌상단에 제 2 객체(1002)가 위치함을 소리 또는 진동으로 출력할 수 있다. 사용자가 설정한 목표물인 제1 객체(1001)가 현재 사용자 신체부위 이미지(300)의 어느 위치로부터 어느 방향으로 얼마나 떨어져 있는 것인지 지속적으로 피드백 하는 것이 가능하다. 이 때 사용자가 이전의 피드백을 수용하여 목표물에 더 가깝게 가는 경우, 휴대단말기(100)는 더 큰 진동을 발생시켜서 사용자가 올바른 피드백 과정을 거치고 있다는 것을 사용자에게 알려줄 수 있다.
도 4(e)에서 사용자 신체부위 이미지(300)는 목표물인 제1 객체(1001)와 접촉하고 있으며, 서버(200)는 현대 사용자가 목표물인 '햄버거'메뉴를 선택하고 있다는 것을 사용자에게 피드백할 수 있다.
또한 사용자 피드백 과정의 시작지점인 도4(d) 에서, 사용자 신체부위 이미지(300)가 목표물(목표물 객체 영역)에 최종 접촉한 도 4(f)로 진행하기 까지 휴대단말기(100)의 진동을 더 증가시킬 수 있다. 구체적으로, 피드백의 시작 부분에서는 휴대단말기(100)에 기본 수준의 진동을 발생시키다가, 사용자 피드백 과정에서 인식 모델이 목표물로부터 멀어지는 경우 진동의 세기를 기본 수준으로부터 감소시킬 수 있다. 또한 사용자 피드백 과정에서 인식 모델이 목표물에 점점 가까워지는 경우 진동의 세기를 기본 수준으로부터 증가시킬 수 있다. 최종적으로 사용자 신체부위 이미지(300)가 목표물에 도달한 경우 진동의 세기를 기본 수준으로부터 큰 폭으로 증가시킬 수 있으며 사용자는 사용자 신체부위 이미지(300)가 목표물에 최종적으로 접촉했음을 알아차릴 수 있다.
이하 도 5를 참조하여 휴대단말기(100)가 영상 및/또는 이미지를 촬영하여 서버(200)로 전송하고, 서버(200)로부터 객체들에 관한 정보를 수신하여 사용자를 피드백함에 있어 어떠한 알고리즘을 활용하는지 살펴본다.
본 발명이 포함하는 제1 단계(S101)에서와 같이 휴대단말기(100)에서는 사용자의 신체부위를 촬영하여 신체부위 객체 검출 모델을 생성하는 단계가 실행될 수 있다. 이후 본 발명이 포함하는 제2 단계(S102)에서와 같이 휴대단말기(100)는 사용자의 명령을 수신하여 목표물을 설정하는 단계가 실행될 수 있다.
실시예들에 따른 본 발명의 휴대단말기(100)에서는, 사용자가 촬영중인 영상 및/또는 이미지를 서버(200)에 전송하는 단계(S201)가 실행될 수 있으며, 이 때 전송된 내용에 대한 정보를 휴대단말기(100)가 서버(200)로부터 응답 받았는지 확인하는 단계(S202)가 실행될 수 있다. 휴대단말기(100)가 서버(200)로부터 응답을 받지 못한다면, 사용자가 촬영중인 영상 및/또는 이미지를 서버(200)에 전송하는 단계를 계속 반복할 수 있다.
실시예들에 따른 본 발명의 휴대단말기(100)에서는, 서버(200)가 전송된 내용에 대해 응답한 경우 촬영된 이미지에 사용자 신체부위 이미지(300)가 존재하는지 확인하는 단계(S203)를 실행될 수 있다. 이 때 촬영된 이미지에 사용자 신체부위 이미지(300)가 존재하지 않는 경우, 제7 단계(S107)와 유사하게 사용자의 신체부위와 휴대단말기(100) 간의 거리 및/또는 방향을 피드백하는 단계(S205)가 실행될 수 있다. 또한 촬영된 이미지에 사용자 신체부위 이미지(300)가 존재하는 경우, 사용자 신체부위 이미지(300) 와 겹치는 객체의 정보를 사용자에게 제공하는 단계(S204)가 실행된 후, 사용자의 신체부위와 휴대단말기(100) 간의 거리 및/또는 방향을 피드백하는 단계(S205)가 실행될 수 있다. 이 때 사용자 신체부위의 위치가 객체들 중 하나와 겹쳐지는지 여부는 사용자 신체부위 이미지(300)를 통하여 파악이 가능하다.
실시예들에 따른 본 발명의 휴대단말기(100)에서는, 사용자의 신체부위 이미지(300)가 목표물에 접촉하였는지 여부를 확인하는 단계(S206)를 더 포함할 수 있다. 이 때 사용자의 신체부위 이미지(300)가 목표물에 접촉하지 않았다고 판단되는 경우, 사용자가 촬영중인 영상 및/또는 이미지를 서버(200)에 전송하는 단계(S201)가 다시 실행될 수 있다.
이하 도 6을 참조하여 서버(200)가 휴대단말기(100)로부터 영상 및/또는 이미지를 수신하여 객체를 도출하고, 사용자의 신체부위와 객체 간의 거리 및 방향을 파악하여 휴대단말기(100)에 전송하는 데 있어 어떠한 알고리즘을 활용하는지 살펴본다.
실시예들에 따른 본 발명의 서버(200)에서는, 촬영된 영상 및/또는 이미지를 휴대단말기(100)로부터 수신하는 단계(S301)가 실행될 수 있다. 이를 수신한 후 서버(200)에서는 기내장된 객체 알고리즘을 이용하여 객체를 도출하는 단계(S302)가 실행될 수 있다.
실시예들에 따른 본 발명의 서버(200)에서는, 수신한 영상 및/또는 이미지에 목표물과 동일한 객체가 존재하는지 여부를 파악하는 단계(S303)가 실행될 수 있다. 이 때 목표물과 동일한 객체가 존재하지 않는 경우, 객체 알고리즘을 이용하여 객체를 도출하는 단계(S302)가 다시 실행될 수 있으며, 목표물과 동일한 객체가 존재하는 경우 수신한 영상 및/또는 이미지에 사용자 신체부위 이미지(300)가 존재하는지 여부를 파악하는 단계(S304)가 실행될 수 있다. 사용자의 신체부위 이미지(300)가 존재하지 않는다고 파악되는 경우, 객체 알고리즘을 이용하여 객체를 도출하는 단계(S302)가 다시 실행될 수 있으며, 사용자의 신체부위가 존재한다고 파악되는 경우 사용자의 신체부위와 목표물간 거리를 측정하는 알고리즘이 사용되는 단계(S305)가 실행될 수 있다.
실시예들에 따른 본 발명의 서버(200)에서는, 사용자 신체부위와 목표물간의 거리 및/또는 방향을 피드백하는 단계(S306)를 포함할 수 있다. 또한 그 결과값을 휴대단말기(100)에 전송(S307)하는 단계를 더 포함할 수 있다.
이하 도 7을 참조하여 실시예들에 따른 본 발명이, 휴대단말기(100)에 의하여 촬영 및 추출된 인식 이미지로부터, 그림영역과 텍스트영역을 적어도 하나 이상 추출한 후 그림영역과 텍스트영역을 각각 대응시키는 방법에 대하여 구체적으로 살펴본다.
본 발명의 실시예 중 하나가 포함하는 제3 단계(S103)는 휴대단말기(100)를 통해 촬영 및 생성된 인식 이미지로부터, 그림영역을 적어도 하나 이상 추출하는 단계, 휴대단말기(100)를 통해 촬영 및 생성된인식 이미지로부터 텍스트영역을 적어도 하나 이상 추출하는 단계 및 그림영역 및 텍스트영역을 각각 대응시키는 단계를 더 포함할 수 있다.
구체적으로, 본 발명의 실시예들 중 하나는 휴대단말기(100)가 촬영한 영상, 이미지 또는 인식 이미지로부터 그림영역과 텍스트영역을 각각 결정할 수 있다. 서버(200)는 결정된 그림영역 및 텍스트영역들을 바탕으로 그림영역과 텍스트영역을 각각 적어도 하나 이상 추출할 수 있다. 또한 서버(200)는 추출된 그림영역과 텍스트영역을 각각 일대 일 관계로 대응시킬 수 있다. 사용자가 객체를 선택하거나, 사용자 신체부위 이미지(300)가 그림영역 중 하나와 겹쳐지는 경우, 겹쳐진 그림영역에 대응하는 텍스트영역을 호출하여 사용자에게 텍스트영역의 내용을 전달할 수 있다.
또한, 각각의 그림영역과 텍스트영역을 대응시킴에 있어서, 각각의 그림영역은 가장 인접한 한 개의 텍스트영역과 대응될 수 있다. 이를 도 7을 통해 구체적으로 살핀다.
상술한 목표물 객체의 영역은 그림영역 및 텍스트영역 중 적어도 하나를 포함할 수 있다. 객체의 영역은 그림영역만을 포함할 수도 있고 텍스트영역만을 포함할 수도 있다.
도 7의 실시예는, 사용자가 키오스크(400)를 촬영한 영상이 휴대단말기(100) 디스플레이에 표시되는 것을 나타내고 있다. 휴대단말기(100)가 촬영한 영상 및/또는 이미지는 햄버거 사진을 포함한 제1 그림영역(2001), 피자 사진을 포함한 제2 그림영역(2002), 치킨 사진을 포함한 제3 그림영역(2003), 햄버거의 텍스트와 가격을 표시한 제1 텍스트영역(3001), 피자의 텍스트와 가격을 표시한 제2 텍스트영역(3002), 치킨의 텍스트와 가격을 표시한 제3 텍스트영역(3003)을 포함할 수 있다.
이 때 제1 그림영역(2001)은 텍스트영역들 중 가장 인접한 것에 해당하는 제1 텍스트영역(3001)과 대응될 수 있으며, 제2 그림영역(2002)은 가장 인접한 텍스트 영역인 제2 텍스트영역(3002)과 대응될 수 있으며, 제3 그림영역(2003)은 가장 인접한 텍스트 영역인 제3 텍스트영역(3003)과 대응될 수 있다.
도 7의 실시예는 거리를 기준으로 그림영역들과 텍스트영역들을 대응시켰으나, 본 발명의 실시예들은 거리 이외의 다양한 기준에 근거하여 각각의 그림영역들과 텍스트영역들이 각각 대응될 수 있는 실시예들을 포함한다.
이제까지 다양한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
본 발명의 실시예들은 객체들을 파악함에 있어 객체 알고리즘 및/또는 다양한 CNN(Convolution Neural Network)을 사용할 수 있다. 본 발명의 실시예들이 개시하는 객체 알고리즘을 구현하기 위해서는 R-CNN(Regions with CNN), SSD(Single Shot Multi Box Detector), YOLO(You Only Look Once) 등의 객체 검출 모델 중 어느 하나 이상이 활용될 수 있다. 특히, YOLO 모델의 기본 동작은 하나의 CNN이 여러 개의 경계 상자(Bounding Box)를 예측하고, 각 경계 상자에 대하여 분류 확률(Classification Probability)를 예측하는 알고리즘일 수 있다.
본 발명의 실시예들은 디스플레이에 표시된 객체들간의 실제 거리를 파악하기 위하여 깊이 추정 모델을 이용할 수 있다. 이러한 깊이 추정 모델들은 비지도 학습(Unsupervised Learning) 및 자기 지도 학습(Self-Supervised Learning)을 통해 형성될 모델들일 수 있다. 본 발명에서 이용되는 깊이 추정 모델들을 구현하기 위해서는 FCRN(Deeper Depth Prediction with Fully Convolutional Residual Networks), DORN(Deep Ordinal Regression Network for Monocluar Depth Estimation), Monodepth(Unsupervised Monocular Depth Estimation with Left-Right Consistency) 및 Monodepth2(Digging into Self-Supervised Monocluar Depth Prediction) 중 어느 하나 이상이 이용될 수 있다. 특히 Monodepth2 의 경우 단안 비디오 및 양안 영상과 더불어 카메라 포즈를 학습하여 깊이를 예측하는 방법을 채택하고 있는 것일 수 있으며, 해당 모델을 사용하는 경우 입력 영상으로부터 다른 시점에서 바라보는 새로운 영상을 생성하여 해당 두 영상의 시차 지도(Disparity Map)을 통하여 최종 깊이를 추정할 수 있다.
본 발명이 포함하는 실시예들은 복수의 휴대단말기(100)를 활용하여 사용자의 신체 일부분이 목표물에 도달하게끔 사용자를 피드백 할 수 있다. 이 때 단일한 휴대단말기(100)를 이용하여 하나의 영상을 촬영한다면 단안 영상기반 방법에 근거하여 객체들간의 거리 및/또는 방향을 측정할 수 있다. 또한 하나 또는 그 이상의 휴대단말기(100)로 하나 이상의 영상을 촬영하는 경우 양안 영상기반 방법에 근거하여 객체들간의 거리 및/또는 방향을 측정할 수 있다.
또한 본 발명이 포함하는 실시예들은 Ground Truth 를 사용하는지 여부에 따라 지도학습방법(Supervised Method) 또는 비지도학습방법(Unsupervised Method) 근거하여 거리 및/또는 방향을 측정할 수 있다.
특히 본 발명의 실시예들이 활용할 수 있는 양안 영상기반 방법의 경우, 딥러닝으로 학습된 특징을 수집한 후 그 이후에 similarity 를 구하거나, SGM과 같은 후처리를 통하여 거리를 측정하는 방법일 수 있다. 또한 본 발명의 실시예들이 활용할 수 있는 양안 영상기반 방법 중 GC-Net 의 경우 양안기반 방법에 있어서 3D cost volume 을 도입하여 end-to-end 양안 지도학습 방법을 채택하여 거리를 측정하는 특징을 가진다. 이 때 3D cost volume 은 두 장의 이미지 각각에서 추출한 특징 벡터로부터 3번째 차원으로 디스패리티에 대한 비용함수를 추가하도록 한 방법으로서, 이러한 cost volume 을 도입하는 경우 네트워크 학습 과정에서 디스패리티를 보다 직접적으로 학습하는 특징이 있다.
또한 본 발명의 실시예들이 활용할 수 있는 양안 영상기반 방법은 PSMNet[12]에 근거한 SPP(Spatial Pyramid Pooling) 방법을 활용하여 객체간의 거리를 측정하는 특징이 있다.
본 발명의 실시예들이 활용할 수 있는 단안 영상기반 방법은, 하나의 카메라로 사물간의 거리 및/또는 위치를 측정할 수 있어 장비에 대한 비용절감의 효과가 있으며, 카메라 포즈와 같은 추가적인 정보를 적용할 때도 용이하다는 장점이 있다.
구체적으로, 본 발명의 실시예들이 활용할 수 있는 단안 영상기반 방법인 MonoDepth[16]은 비지도학습으로 단안영상의 거리측정을 하기 위하여 image reconstruction 방법을 이용한다는 특징이 있다.
또한 본 발명의 실시예들이 활용할 수 있는 단안 영상기반 방법인 SSIM[17]은 3X3 블록필터를 사용하여 photometric 픽셀의 유사도를 측정한다는 특징이 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
100 : 휴대단말기
200 : 서버
300 : 사용자 신체부위 이미지
400 : 키오스크
110 : 프로세서
120 : 메모리
S101 : 제1 단계
S102 : 제2 단계
S103 : 제3 단계
S104 : 제4 단계
S105 : 제5 단계
1001 : 제1 객체
1002 : 제2 객체
1003 : 제3 객체
2001 : 제1 그림영역
2002 : 제2 그림영역
2003 : 제3 그림영역
3001 : 제1 텍스트영역
3002 : 제2 텍스트영역
3003 : 제3 텍스트영역
200 : 서버
300 : 사용자 신체부위 이미지
400 : 키오스크
110 : 프로세서
120 : 메모리
S101 : 제1 단계
S102 : 제2 단계
S103 : 제3 단계
S104 : 제4 단계
S105 : 제5 단계
1001 : 제1 객체
1002 : 제2 객체
1003 : 제3 객체
2001 : 제1 그림영역
2002 : 제2 그림영역
2003 : 제3 그림영역
3001 : 제1 텍스트영역
3002 : 제2 텍스트영역
3003 : 제3 텍스트영역
Claims (8)
- 서버가 휴대단말기로 사용자의 신체부위를 촬영한 학습 이미지에 기초하여 신체부위 객체 검출 모델을 생성하는 제1 단계;
상기 휴대단말기가 상기 사용자의 명령을 수신하여 목표물을 설정하는 제2 단계;
상기 휴대단말기로 상기 사용자의 주위를 촬영하여 인식 이미지를 생성하고, 상기 휴대단말기와 통신하는 상기 서버가 상기 인식 이미지에 포함된 적어도 하나 이상의 객체를 파악하는 제3 단계;
상기 서버가 상기 적어도 하나 이상의 객체 중 상기 목표물과 동일한 목표물 객체의 영역을 선택하는 제 4 단계;
상기 서버가 상기 인식 이미지를 상기 신체부위 객체 검출 모델에 적용하여 사용자의 신체부위의 위치를 결정하는 제 5 단계;
상기 신체부위의 위치와 상기 목표물 객체의 영역 사이의 거리 또는 방향을 측정한 정보를 상기 서버로부터 상기 휴대단말기에 전송하는 제6 단계; 및
상기 신체부위의 위치가 상기 목표물과 접촉할 수 있도록 상기 사용자를 피드백하는 제7 단계; 를 포함하는 것을 특징으로 하는
목표물 도달 시스템의 동작 방법.
- 제 1항에 있어서,
상기 제3 단계는 R-CNN, SSD 및 YOLO 중 어느 하나 이상을 포함하는 객체 알고리즘을 이용하여 상기 촬영된 이미지로부터 상기 적어도 하나 이상의 객체를 도출하는 것을 특징으로 하는
목표물 도달 시스템의 동작 방법.
- 제 2항에 있어서,
상기 제3 단계에서 상기 적어도 하나 이상의 객체 중 하나가 상기 신체부위의 위치와 겹쳐지는 경우, 상기 겹쳐진 객체의 정보를 상기 사용자에게 제공하는 것을 특징으로 하는
목표물 도달 시스템의 동작 방법.
- 제 2항에 있어서
상기 제3 단계는,
상기 인식 이미지로부터 그림영역을 적어도 하나 이상 추출하는 단계;
상기 인식 이미지로부터 텍스트영역을 적어도 하나 이상 추출하는 단계; 및
상기 그림영역 및 상기 텍스트영역을 각각 대응시키는 단계;를 포함하는 것을 특징으로 하는
목표물 도달 시스템의 동작 방법.
- 제 1항에 있어서,
상기 신체부위의 위치가 상기 목표물 객체의 영역에 도달하지 않은 경우, 상기 제 3 단계 내지 상기 제7 단계를 반복하고,
상기 신체부위의 위치가 상기 목표물 객체의 영역에 도달한 경우 상기 반복을 중단하고 사용자의 신체부위의 위치가 상기 목표물 객체의 영역에 접촉하였다는 것을 피드백하는 것을 특징으로 하는
목표물 도달 시스템의 동작 방법.
- 제 1항에 있어서
상기 제 4 단계는 거리 및 방향을 측정함에 있어서 FCRN, DORN, Monodepth 및 Monodepth2 중 적어도 하나 이상의 모델을 이용하는 것을 특징으로 하는
목표물 도달 시스템의 동작 방법.
- 제 1항에 있어서,
상기 제7 단계는 상기 사용자를 피드백함에 있어서 상기 휴대단말기의 진동을 이용하며, 상기 신체부위의 위치가 상기 목표물에 가까이 갈수록 상기 진동의 세기가 강해지는 것을 특징으로 하는
목표물 도달 시스템의 동작 방법.
- 제 1항에 있어서,
상기 인식 이미지에서 상기 신체부위 객체 검출 모델이 상기 사용자의 신체부위의 일부만을 파악한 경우, 상기 휴대단말기는 사용자의 신체부위 전체가 상기 휴대단말기가 촬영하는 화각 내부에 위치하게끔 작동하도록 상기 사용자를 피드백하는 단계; 를 더 포함하는 것을 특징으로 하는
목표물 도달 시스템의 동작 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220104345 | 2022-08-19 | ||
| KR20220104345 | 2022-08-19 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240026057A true KR20240026057A (ko) | 2024-02-27 |
Family
ID=90058684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220119037A KR20240026057A (ko) | 2022-08-19 | 2022-09-21 | 사용자의 신체부위가 목표물에 닿을 수 있도록 사용자를 피드백하는 목표물 도달 시스템 및 그 동작방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240026057A (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101683160B1 (ko) | 2015-08-21 | 2016-12-06 | 주식회사 피씨티 | 시각장애인용 사물 인지 시스템 |
| KR101840422B1 (ko) | 2016-09-30 | 2018-03-20 | 설영석 | 사물 인식을 이용한 대상물 검색 시스템 |
| KR102325061B1 (ko) | 2020-01-29 | 2021-11-11 | 가천대학교 산학협력단 | 시각장애인 인지보조 시스템 및 방법 |
-
2022
- 2022-09-21 KR KR1020220119037A patent/KR20240026057A/ko unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101683160B1 (ko) | 2015-08-21 | 2016-12-06 | 주식회사 피씨티 | 시각장애인용 사물 인지 시스템 |
| KR101840422B1 (ko) | 2016-09-30 | 2018-03-20 | 설영석 | 사물 인식을 이용한 대상물 검색 시스템 |
| KR102325061B1 (ko) | 2020-01-29 | 2021-11-11 | 가천대학교 산학협력단 | 시각장애인 인지보조 시스템 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3781896B1 (en) | System for locating and identifying an object in unconstrained environments | |
| KR101603017B1 (ko) | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 | |
| TW201941099A (zh) | 智慧型裝置的交互目標確定方法和裝置 | |
| WO2019245768A1 (en) | System for predicting articulated object feature location | |
| US11748904B2 (en) | Gaze point estimation processing apparatus, gaze point estimation model generation apparatus, gaze point estimation processing system, and gaze point estimation processing method | |
| KR20190015332A (ko) | 증강 현실의 가상 객체들에 영향을 미치는 장치 | |
| US10444852B2 (en) | Method and apparatus for monitoring in a monitoring space | |
| US10623629B2 (en) | Imaging apparatus and imaging condition setting method and program | |
| KR20220169825A (ko) | Bim 설계 데이터 내 설비 라인을 자동으로 설계하는 장치, 방법 및 프로그램 | |
| US10299982B2 (en) | Systems and methods for blind and visually impaired person environment navigation assistance | |
| CN111460858A (zh) | 图像中指尖点的确定方法、装置、存储介质及电子设备 | |
| CN112818733B (zh) | 信息处理方法、装置、存储介质及终端 | |
| GB2589178A (en) | Cross-domain metric learning system and method | |
| KR20240026057A (ko) | 사용자의 신체부위가 목표물에 닿을 수 있도록 사용자를 피드백하는 목표물 도달 시스템 및 그 동작방법 | |
| US10074188B2 (en) | Method and apparatus for processing images for use with a three-dimensional hand model database | |
| KR102510047B1 (ko) | 관절 가동 각도 범위를 이용한 동작 인식의 노이즈를 필터링하는 전자 장치의 제어 방법 | |
| KR102459723B1 (ko) | 이미지 검증 방법, 그를 수행하는 진단 시스템 및 그를 수행하는 방법이 기록된 컴퓨터로 판독가능한 기록매체 | |
| US10733448B2 (en) | Machine learning of context data for social and contextual scene inferences | |
| CN112307799A (zh) | 姿态识别方法、装置、系统、存储介质及设备 | |
| KR20220169824A (ko) | Xr 기반의 감리 보조 장치, 방법 및 프로그램 | |
| CN110196630B (zh) | 指令处理、模型训练方法、装置、计算机设备及存储介质 | |
| KR102346964B1 (ko) | 객체 인식 장치 및 방법 | |
| WO2021245749A1 (ja) | 追跡装置、追跡方法、および記録媒体 | |
| CN114495090A (zh) | 靶点识别方法、装置、手术系统、计算机设备和存储介质 | |
| JP7354686B2 (ja) | 出力制御装置、表示制御システム、出力制御方法およびプログラム |