KR102605355B1 - 이미지 기반 정보 제공 방법 및 장치 - Google Patents
이미지 기반 정보 제공 방법 및 장치 Download PDFInfo
- Publication number
- KR102605355B1 KR102605355B1 KR1020190095658A KR20190095658A KR102605355B1 KR 102605355 B1 KR102605355 B1 KR 102605355B1 KR 1020190095658 A KR1020190095658 A KR 1020190095658A KR 20190095658 A KR20190095658 A KR 20190095658A KR 102605355 B1 KR102605355 B1 KR 102605355B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- search
- image
- providing
- processor
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 44
- 238000004891 communication Methods 0.000 claims abstract description 26
- 230000003190 augmentative effect Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 5
- 230000001502 supplementing effect Effects 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 14
- 238000010801 machine learning Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 31
- 230000006870 function Effects 0.000 description 25
- 238000013528 artificial neural network Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 14
- 210000002569 neuron Anatomy 0.000 description 6
- 230000004913 activation Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000003213 activating effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 210000000225 synapse Anatomy 0.000 description 3
- 101100323945 Arabidopsis thaliana ARI3 gene Proteins 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 101150021453 ARI1 gene Proteins 0.000 description 1
- 101150107506 ARIH2 gene Proteins 0.000 description 1
- 101100323961 Arabidopsis thaliana ARI5 gene Proteins 0.000 description 1
- 102100038513 E3 ubiquitin-protein ligase ARIH2 Human genes 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 101150076105 ari-2 gene Proteins 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000007791 dehumidification Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 235000021109 kimchi Nutrition 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000001646 magnetic resonance method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 101150009632 prx2 gene Proteins 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Architecture (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
탑재된 인공지능(artificial intelligence, AI) 알고리즘 및/또는 기계학습(machine learning) 알고리즘을 실행하며, 5G 통신 환경에서 다른 전자 기기들 및 외부 서버와 통신할 수 있는 이미지 기반 제공 장치가 개시된다. 상기 장치는 카메라, 디스플레이 및 프로세스 등을 포함한다. 이에 따라, 촬영 대상이 정확하게 인식되어 사용자 편의를 제고한 다양한 서비스가 제공될 수 있다.
Description
본 발명은 이미지 기반 정보 제공 방법 및 장치에 관한 것으로, 더욱 상세하게는 촬영 범위 내에 배치된 오브젝트의 규격(Specification) 정보를 획득하여 오브젝트를 정확하게 인식하는 이미지 기반 정보 제공 방법 및 장치에 관한 것이다.
단말기는 이동 가능 여부에 따라 이동 단말기 및 고정 단말기로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대형 단말기 및 거치형 단말기로 나뉠 수 있다.
이동 단말기의 기능은 다양화 되고 있으며, 카메라의 성능이 발달됨에 따라, 카메라를 이용한 다양한 기능들이 개발되고 있다. 예를 들어, 고화질의 정지영상 또는 동영상 등을 촬영하거나, 카메라를 통해 수신되는 영상의 깊이 정보를 이용하여 3D 이미지를 생성하는 기능들에 대한 개발이 활발히 이루어지고 있다.
선행 기술 1에 개시된 증강 현실 기반 서비스 시스템은 가상 스튜디오에서 촬영된 영상에 증강 현실 기반으로 배경 영상을 부가하여 사용자 실감형 인터페이스를 제공한다.
다만, 선행 기술 1은 촬영 대상을 단순히 촬영하는 내용만 개시할 뿐, 촬영 대상을 정확하게 인식하기 위한 방법을 개시하지 못하는 한계가 있다.
선행 기술 2에 개시된 골프 스윙 매칭 분석 시스템은 사용자의 스윙 영상을 촬영하고 촬영된 사용자의 스윙 영상에 증강 현실 기반의 프로골퍼의 스윙 영상을 오버랩하여 사용자의 운동 능력을 향상시키고자 한다.
다만, 선행 기술 2는 사용자의 사이즈 정보를 측정하는 내용을 개시하기는 하나, 사이즈 측정 정보가 운동에만 한정적으로 적용되며 오브젝트를 정확하게 인식하기 위한 방법을 개시하지 못하는 한계가 있다.
본 발명이 해결하고자 하는 과제는 오브젝트의 규격(Specification) 정보를 비전 인식에 활용하여 정확하게 물품 정보 또는 모델 정보를 획득하는 이미지 기반 정보 제공 방법 및 장치를 제공하는데 있다.
본 발명의 또 다른 과제는 촬영 범위 내에 배치된 오브젝트의 규격 정보를 증강 현실(Augmented Reality) 기반으로 디스플레이하는 이미지 기반 정보 제공 방법 및 장치를 제공하는데 있다.
본 발명의 또 다른 과제는 정확하게 인식된 물품 정보에 기반하여 사용자 친화적인 서비스를 제공하는 이미지 기반 정보 제공 방법 및 장치를 제공하는데 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 일 실시 예에 따른 이미지 기반 정보 제공 방법은 인식된 오브젝트 및 오브젝트의 규격 정보를 이용하여 오브젝트를 보다 정확하게 인식할 수 있다.
구체적으로, 상기 이미지 기반 정보 제공 방법은 카메라의 촬영 범위 내에 배치된 오브젝트를 인식하는 단계, 오브젝트의 규격(Specfication) 정보를 획득하는 단계, 오브젝트의 규격 정보를 AR(Augmented Reality) 기반으로 상기 오브젝트와 함께 디스플레이하는 단계, 소정의 검색 커맨드가 입력되면, 오브젝트 및 규격 정보에 기초한 검색 정보를 획득하는 단계 및 검색 정보를 제공하는 단계를 포함할 수 있다.
상기 이미지 기반 정보 제공 방법은 추가적으로 오브젝트의 규격 정보에 기초하여, 오브젝트의 물품 정보를 획득하는 단계를 더 포함할 수 있다.
상기 검색 정보를 획득하는 단계는, 기 저장된 학습 모델에 기초하여, 오브젝트의 물품 정보와 소정 범위 내의 유사도를 가지는 하나 이상의 검색 물품에 관한 정보를 획득하는 단계를 포함할 수 있다.
상기 검색 정보를 획득하는 단계는, 오브젝트의 물품 정보를 정보 제공 시스템으로 전송하는 단계 및 오브젝트의 물품 정보와 소정 범위 내의 유사도를 가지는 하나 이상의 검색 물품에 관한 정보를 정보 제공 시스템으로부터 획득하는 단계를 포함할 수 있다.
상기 검색 정보를 제공하는 단계는, 오브젝트의 규격 정보와의 유사도에 우선순위를 두어 검색 물품에 관한 정보를 제공하는 단계를 포함할 수 있다.
상기 검색 물품에 관한 정보를 제공하는 단계는, 오브젝트의 규격 정보와의 유사도를 필터로 설정하고, 유사도가 소정 범위를 벗어난 검색 물품에 관한 정보를 필터링하는 단계 및 소정 범위 내의 검색 물품에 관한 정보를 제공하는 단계를 포함할 수 있다.
상기 검색 정보를 제공하는 단계는, 오브젝트의 물품 정보에 기초하여 물품의 외관 정보, 물품의 기능 정보, 물품의 형상 정보 및 물품 구성의 사용 방법 중 적어도 하나를 제공하는 단계를 포함할 수 있다.
상기 검색 정보를 제공하는 단계는, 물품 종류가 동일하고, 규격 정보에 차이를 두는 검색 물품이 하나 이상 검색된 경우 하나 이상의 검색 물품을 함께 제공하되, 하나 이상의 검색 물품에 대한 제원 정보를 비교하여 제공하는 단계를 포함할 수 있다.
상기 오브젝트의 규격 정보를 획득하는 단계는, 오브젝트의 부분 영역만 인식된 경우, 부분 영역의 규격 정보를 획득하는 단계를 포함하고, 상기 검색 정보를 획득하는 단계는, 부분 영역에 대한 정보 및 부분 영역의 규격 정보를 정보 제공 시스템으로 전송하는 단계 및 부분 영역에 대한 정보 및 부분 영역의 규격 정보와 소정 범위 내의 유사도를 갖는 검색 물품에 관한 정보를 획득하는 단계를 포함할 수 있다.
상기 검색 정보를 제공하는 단계는, 오브젝트의 부분 영역을 디스플레이하고, 오브젝트의 부분 영역 이외의 영역을 검색 물품에 관한 정보에서 추출하여 AR 기반으로 제공하는 단계를 포함할 수 있다.
상기 오브젝트를 인식하는 단계는, 카메라의 촬영 범위 내에 하나 이상의 오브젝트가 인식된 경우, 사용자 조작에 의해 오브젝트를 선택하거나 촬영 영역을 우세하게 점유하는 오브젝트를 선택하는 단계를 포함할 수 있다.
상기 과제를 달성하기 위하여, 본 발명의 일 실시 예에 따른 이미지 기반 정보 제공 장치는 카메라를 포함하는 입력부, 디스플레이 및 카메라의 촬영 범위 내에 배치된 오브젝트를 인식하고, 인식된 오브젝트의 규격 정보를 획득하는 프로세서를 포함하며, 상기 프로세서는, 오브젝트의 규격 정보를 AR 기반으로 오브젝트와 함께 디스플레이에 디스플레이하고, 소정의 검색 커맨드가 입력부를 통해 입력되면 오브젝트 및 규격 정보에 기초한 검색 정보를 획득하고, 획득된 검색 정보를 제공할 수 있다.
상기 프로세서는, 오브젝트의 규격 정보에 기초하여, 오브젝트의 물품 정보를 획득할 수 있다.
상기 이미지 기반 정보 제공 장치는 학습 모델을 저장하는 저장부를 더 포함하며, 상기 프로세서는, 학습 모델에 기초하여, 오브젝트의 물품 정보와 소정 범위 내의 유사도를 가지는 하나 이상의 검색 물품에 관한 정보를 획득할 수 있다.
상기 이미지 기반 정보 제공 장치는 정보 제공 시스템과 통신하는 통신부를 더 포함하며, 상기 프로세서는, 오브젝트의 물품 정보를 통신부를 통해 정보 제공 시스템으로 전송하고, 오브젝트의 물품 정보와 소정 범위 내의 유사도를 가지는 하나 이상의 검색 물품에 관한 정보를 통신부를 통해 정보 제공 시스템으로부터 획득할 수 있다.
상기 프로세서는, 오브젝트의 규격 정보와의 유사도에 우선순위를 두어 검색 물품에 관한 정보를 디스플레이를 통해 제공할 수 있다.
상기 프로세서는, 오브젝트의 규격 정보와의 유사도를 필터로 설정하고, 유사도가 소정 범위를 벗어난 검색 물품에 관한 정보를 필터링하고, 소정 범위 내의 검색 물품에 관한 정보를 디스플레이를 통해 제공할 수 있다.
상기 프로세서는, 오브젝트의 물품 정보에 기초하여 물품의 외관 정보, 물품의 기능 정보, 물품의 형상 정보 및 물품 구성의 사용 방법 중 적어도 하나를 디스플레이를 통해 제공할 수 있다.
상기 프로세서는, 물품 종류가 동일하고, 규격 정보에 차이를 두는 검색 물품이 하나 이상 검색된 경우 하나 이상의 검색 물품을 함께 제공하되, 하나 이상의 검색 물품에 대한 제원 정보를 비교하여 디스플레이를 통해 제공할 수 있다.
상기 프로세서는, 오브젝트의 부분 영역만 인식된 경우, 부분 영역의 규격 정보를 획득하고, 부분 영역에 대한 정보 및 부분 영역의 규격 정보를 통신부를 통해 정보 제공 시스템으로 전송하고, 부분 영역에 대한 정보 및 부분 영역의 규격 정보와 소정 범위 내의 유사도를 갖는 검색 물품에 관한 정보를 통신부를 통해 정보 제공 시스템으로부터 획득할 수 있다.
본 발명에서 이루고자 하는 기술적 과제들의 해결 수단은 이상에서 언급한 해결 수단들로 제한되지 않으며, 언급하지 않은 또 다른 해결 수단들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 다양한 실시 예에 따르면 아래와 같은 효과가 도출될 수 있다.
첫째로, 촬영 범위 내에 배치된 오브젝트의 물품 정보가 정확하게 획득될 수 있다.
둘째로, 정확하게 획득된 물품 정보에 기반하여 사용자가 검색하고자 하는 서비스 정보가 정밀도 높게 제공될 수 있으므로 사용자 편의가 제고될 수 있다.
셋째로, AR 기반으로 규격 정보를 디스플레이하여 사용 몰입도가 향상될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 이미지 기반 정보 제공 장치, 각종 기기 및 정보 제공 시스템이 서로 연결되는 네트워크 환경을 설명하기 위한 개략도,
도 2는 본 발명의 일 실시 예에 따른 이미지 기반 정보 제공 장치의 구동을 개략적으로 설명하기 위한 도면,
도 3은 본 발명의 일 실시 예에 따른 이미지 기반 정보 제공 장치의 구성을 나타내는 블록도, 그리고,
도 4 내지 도 16은 본 발명의 다양한 실시 예에 따른 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면들이다.
보다 구체적으로, 도 4는 본 발명의 일 실시 예에 따른 AR 기반으로 오브젝트의 규격 정보를 디스플레이하는 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면,
도 5은 본 발명의 일 실시 예에 따른 검색 물품에 관한 정보를 일 방식으로 표시하는 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면,
도 6은 본 발명의 일 실시 예에 따른 검색 물품에 관한 정보를 다른 방식으로 표시하는 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면,
도 7은 본 발명의 다른 실시 예에 따른 AR 기반으로 오브젝트의 규격 정보를 디스플레이하는 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면,
도 8은 본 발명의 다른 실시 예에 따른 검색 물품에 관한 정보를 표시하는 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면,
도 9는 본 발명의 일 실시 예에 따른 검색 물품에 관한 내부 영역을 디스플레이하고, 기능 정보를 제공하는 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면,
도 10은 본 발명의 다른 실시 예에 따른 검색 물품의 내부 영역을 디스플레이하고 사용 방법 정보를 제공하는 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면,
도 11은 본 발명의 일 실시 예에 따른 물품 종류가 동일하고 규격 정보에 차이를 두는 하나 이상의 검색 물품을 제공하는 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면,
도 12는 도 11의 특정 메뉴가 선택되는 경우, 검색 물품에 관한 정보를 비교하는 표를 제공하는 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면,
도 13은 본 발명의 일 실시 예에 따른 오브젝트의 부분 영역만 인식되는 경우, 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면,
도 14는 도 13의 오브젝트와 관련된 검색 커맨드가 입력된 경우, 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면,
도 15은 본 발명의 일 실시 예에 따른 복수의 오브젝트가 인식되는 경우, 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면, 그리고,
도 16은 본 발명의 일 실시 예에 따른 이미지 기반 정보 제공 장치의 구동 방법을 나타내는 시퀀스도이다.
도 2는 본 발명의 일 실시 예에 따른 이미지 기반 정보 제공 장치의 구동을 개략적으로 설명하기 위한 도면,
도 3은 본 발명의 일 실시 예에 따른 이미지 기반 정보 제공 장치의 구성을 나타내는 블록도, 그리고,
도 4 내지 도 16은 본 발명의 다양한 실시 예에 따른 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면들이다.
보다 구체적으로, 도 4는 본 발명의 일 실시 예에 따른 AR 기반으로 오브젝트의 규격 정보를 디스플레이하는 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면,
도 5은 본 발명의 일 실시 예에 따른 검색 물품에 관한 정보를 일 방식으로 표시하는 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면,
도 6은 본 발명의 일 실시 예에 따른 검색 물품에 관한 정보를 다른 방식으로 표시하는 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면,
도 7은 본 발명의 다른 실시 예에 따른 AR 기반으로 오브젝트의 규격 정보를 디스플레이하는 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면,
도 8은 본 발명의 다른 실시 예에 따른 검색 물품에 관한 정보를 표시하는 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면,
도 9는 본 발명의 일 실시 예에 따른 검색 물품에 관한 내부 영역을 디스플레이하고, 기능 정보를 제공하는 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면,
도 10은 본 발명의 다른 실시 예에 따른 검색 물품의 내부 영역을 디스플레이하고 사용 방법 정보를 제공하는 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면,
도 11은 본 발명의 일 실시 예에 따른 물품 종류가 동일하고 규격 정보에 차이를 두는 하나 이상의 검색 물품을 제공하는 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면,
도 12는 도 11의 특정 메뉴가 선택되는 경우, 검색 물품에 관한 정보를 비교하는 표를 제공하는 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면,
도 13은 본 발명의 일 실시 예에 따른 오브젝트의 부분 영역만 인식되는 경우, 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면,
도 14는 도 13의 오브젝트와 관련된 검색 커맨드가 입력된 경우, 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면,
도 15은 본 발명의 일 실시 예에 따른 복수의 오브젝트가 인식되는 경우, 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면, 그리고,
도 16은 본 발명의 일 실시 예에 따른 이미지 기반 정보 제공 장치의 구동 방법을 나타내는 시퀀스도이다.
본 발명의 다양한 실시 예에 인공 지능 및 확장 현실이 적용될 수 있으므로, 인공 지능 및 확장 현실에 대해 개략적으로 설명한다.
인공 지능(AI: Artificial Intelligence)은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.
인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로서, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.
인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)을 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함숫값을 출력할 수 있다.
모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.
인공 신경망의 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.
머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.
지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.
인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.
확장 현실(XR: eXtended Reality)은 가상 현실(VR: Virtual Reality), 증강 현실(AR: Augmented Reality), 혼합 현실(MR: Mixed Reality)을 총칭한다. VR 기술은 현실 세계의 객체나 배경 등을 CG 영상으로만 제공하고, AR 기술은 실제 사물 영상 위에 가상으로 만들어진 CG 영상을 함께 제공하며, MR 기술은 현실 세계에 가상 객체들을 섞고 결합시켜서 제공하는 컴퓨터 그래픽 기술이다.
MR 기술은 현실 객체와 가상 객체를 함께 보여준다는 점에서 AR 기술과 유사하다. 그러나, AR 기술에서는 가상 객체가 현실 객체를 보완하는 형태로 사용되는 반면, MR 기술에서는 가상 객체와 현실 객체가 동등한 성격으로 사용된다는 점에서 차이점이 있다.
XR 기술은 HMD(Head-Mount Display), HUD(Head-Up Display), 휴대폰, 태블릿 PC, 랩탑, 데스크탑, TV, 디지털 사이니지 등에 적용될 수 있고, XR 기술이 적용된 장치를 XR 장치(XR Device)라 칭할 수 있다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 동일하거나 유사한 구성요소에는 동일 유사한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시 예에 따른 이미지 기반 정보 제공 장치(100), 각종 기기(200) 및 정보 제공 시스템(300)이 서로 연결되는 네트워크(400, 특히 5G 네트워크) 환경을 설명하기 위한 개략도이다.
이미지 기반 정보 제공 장치(100)는 정지 영상, 동영상 등의 이미지에 기반하여 사용자 또는 각종 기기(200) 및 정보 제공 시스템(300)에 이미지와 연관된 정보를 제공할 수 있다.
이미지 기반 정보 제공 장치(100)는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등의 이동 기기들을 포함할 수 있으며, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등의 고정 기기 등을 포함할 수 있다.
각종 기기(200)는 컴퓨터(200a), 냉장고, 세탁기, 에어컨, AI 스피커 등을 포함하는 홈 어플라이언스(Home Appliance), 자율 주행차(200b), 로봇(200c) 등을 포함할 수 있으며, 네트워크(400)를 통해 각종 정보를 송수신할 수 있다.
각종 기기(200)는 이미지 기반 정보 제공 장치(100)와 네트워크(400, 예를 들면, 인터넷)를 통해 무선으로 연결될 수 있다. 실시 예에 따르면, 상기 각종 기기(200)는 상술한 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer) 등을 포함할 수 있다.
이미지 기반 정보 제공 장치(100)는 통신 모듈을 이용하여 네트워크(400)를 통해 정보 제공 시스템(300)과 통신할 수 있다. 이미지 기반 정보 제공 장치(100)는 정보 제공 시스템(300)에 다양한 정보를 요청할 수 있으며, 정보 제공 시스템(300)으로부터 연산/검색된 다양한 정보를 수신할 수 있다. 상기 연산/검색은 인공 지능에 관련된 연산 또는 검색을 포함할 수 있다.
상기 이미지 기반 정보 제공 장치(100), 각종 기기(200) 및 외부 시스템(300)은 모두 5G 모듈을 탑재하여 100Mbps 내지 20Gbps(또는, 그 이상) 속도로 데이터를 송수신할 수 있어서 대용량의 동영상 파일을 다양한 기기로 전송할 수 있으며, 저전력으로 구동되어 전력 소비를 최소화할 수 있다. 다만, 상기 전송 속도는 실시 예에 따라 달리 구현될 수 있다.
정보 제공 시스템(300)은 다양한 기능을 제공하는 시스템으로 통신이 가능하다면 각종 서버/시스템을 포함할 수 있으며, 네트워크(400)는 5G 이동 통신 네트워크, 근거리 네트워크, 인터넷 등을 포함하여 유무선으로 기기들의 통신 환경을 제공할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 이미지 기반 정보 제공 장치(100)의 구동을 개략적으로 설명하기 위한 도면이다.
이미지 기반 정보 제공 장치(100)는 카메라를 구비하여 같은 공간에 배치된 오브젝트(Ob1a)를 촬영할 수 있으며, 촬영된 오브젝트(Ob1a)는 디스플레이(141) 상에 표시(Ob1b)될 수 있다.
이 경우, 이미지 기반 정보 제공 장치(100)는 확장 현실(eXtended Reality) 중 AR(Augmented Reality) 기반으로 오브젝트(Ob1a)의 규격(Specification) 정보를 디스플레이(141)에 표시할 수 있다. 선택적 실시 예로 이미지 기반 정보 제공 장치(100)는 VR 또는 MR 기반으로 오브젝트(Ob1a)의 규격 정보를 디스플레이(141)에 표시할 수 있다.
여기서, 규격 정보는 제품이나 재료의 품질, 모양, 크기, 성능 따위의 일정한 표준 정보를 포함할 수 있다. 실시 예에 따르면, 규격 정보는 디멘션(Dimension) 정보를 포함할 수 있는데, 상기 디멘션 정보는 오브젝트의 크기, 폭, 면적, 용적 등을 가리키는 치수에 관련된 정보이며, 수학적 공간의 넓이를 나타낼 수 있는 정보(가령, 직선은 1차원 정보, 평면은 2차원 정보, 기하학상 공간은 3차원 정보) 등을 포함할 수 있다.
구체적으로, 이미지 기반 정보 제공 장치(100)는 오브젝트(Ob1a)의 규격 정보인 너비 정보(ARI1a) 및 높이 정보(ARI1b)를 디스플레이(141)에 표시(ARI1)할 수 있다.
이 경우, 이미지 기반 정보 제공 장치(100)는 각종 센서, 카메라 등을 이용하여 오브젝트(Ob1a)의 규격 정보를 측정하는 기능을 포함할 수 있다. 선택적 실시 예로 이미지 기반 정보 제공 장치(100)는 오브젝트(Ob1a)의 규격 정보를 오브젝트(Ob1a)와의 통신을 통해서도 획득할 수 있다.
이미지 기반 정보 제공 장치(100)는 검색 커맨드 입력을 위한 검색 아이템(도 4의 430)을 디스플레이(141) 상에 표시할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 이미지 기반 정보 제공 장치(100)의 구성을 나타내는 블록도이다.
도 3을 참고하면, 이미지 기반 정보 제공 장치(100)는 통신부(110), 입력부(120), 센싱부(130), 출력부(140), 저장부(150), 전원공급부(160) 및 프로세서(190)를 포함할 수 있다. 도 3에 도시된 구성요소들은 이미지 기반 정보 제공 장치(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 이미지 기반 정보 제공 장치(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
먼저, 통신부(110)는 유무선 통신 기술을 이용하여 각종 기기(200) 및 정보 제공 시스템(300) 등과 데이터를 송수신할 수 있다. 예컨대, 통신부(110)는 각종 기기(200) 및 정보 제공 시스템(300)들과 센서 정보, 사용자 입력 정보, 학습 모델에 관한 정보, 제어 신호 정보 등을 송수신할 수 있으나, 전송 정보가 이에 국한되는 것은 아니다.
이때, 통신부(110)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association;IrDA), ZigBee, NFC(Near Field Communication) 등이 있다.
입력부(120)는 영상 신호 입력을 위한 카메라(121), 오디오 신호를 수신하기 위한 마이크로폰(123, "이하, 마이크로 칭함"), 사용자로부터 정보를 입력 받기 위한 사용자 입력부 등을 포함할 수 있다. 여기서, 카메라(121)나 마이크(123)를 센서로 취급하여, 카메라(121)나 마이크(123)로부터 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.
입력부(120)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때, 사용될 입력 데이터 등을 획득할 수 있다. 입력부(120)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 프로세서(190)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.
센싱부(130)는 다양한 센서들을 이용하여 이미지 기반 정보 제공 장치(100)의 내부 정보, 이미지 기반 정보 제공 장치(100)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.
이때, 센싱부(130)에 포함되는 센서에는 거리 감지 센서(131), 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰, 라이다, 레이더 등이 있다. 여기서, 거리 감지 센서(131)는 오브젝트 및 이미지 기반 정보 제공 장치(100) 간의 거리를 측정할 수 있다.
출력부(140)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있는데, 출력부(140)에는 시각 정보를 출력하는 디스플레이(141), 청각 정보를 출력하는 스피커, 촉각 정보를 출력하는 햅틱 모듈 등이 포함될 수 있다.
저장부(150)는 이미지 기반 정보 제공 장치(100)의 다양한 기능을 지원하는 데이터를 저장한다. 저장부(150)는 이미지 기반 정보 제공 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이미지 기반 정보 제공 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다.
아울러, 저장부(150)는 인공 지능, 머신 러닝, 인공 신경망을 이용하여 연산을 수행하는데 필요한 정보를 저장할 수 있다. 저장부(150)는 상술한 학습 모델(151)을 저장할 수 있다. 상기 학습 모델(151)은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
전원공급부(160)는 프로세서(190)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 이미지 기반 정보 제공 장치(100)의 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(160)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다. 상기 배터리는 유선 또는 무선 충전 방식으로 충전될 수 있는데, 무선 충전 방식은 자기 유도 방식 또는 자기 공진 방식을 포함할 수 있다.
프로세서(190)는 이미지 기반 정보 제공 장치(100)의 구성들을 컨트롤하는 모듈이다. 상기 프로세서(190)는 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
프로세서(190)는 인공 지능 연산을 수행하기 위한 러닝 프로세서를 별도로 구비하거나, 자체적으로 러닝 프로세서를 포함할 수 있다. 프로세서(190)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 또는 학습 중인 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
이때, 프로세서(190)는 인공 지능 서버(가령, 정보 제공 시스템(300))의 러닝 프로세서와 함께 인공 지능 프로세싱을 수행하도록 구현될 수도 있다.
프로세서(190)는 카메라(121)의 촬영 범위 내에 배치된 오브젝트를 인식하고, 인식된 오브젝트의 규격 정보를 획득할 수 있다. 여기서, 오브젝트는 물품일 수 있으나, 반드시 물품에만 한정되는 것은 아니고 사용자, 동물 등을 포함할 수 있다.
프로세서(190)는 도 1과 같이 오브젝트의 규격 정보를 AR 기반으로 오브젝트와 함께 상기 디스플레이(141)에 디스플레이할 수 있다.
프로세서(190)는 오브젝트의 규격 정보에 기초하여, 상기 오브젝트의 물품 정보를 획득할 수 있다. 여기서, 물품 정보는 물품의 상세 스펙(Specification) 정보, 모델 정보, 성질 정보, 외관 정보, 기능 정보, 형상 정보, 모양 정보, 사용 방법 정보 등을 포함하여 다양한 물품에 관한 정보를 포함할 수 있다.
프로세서(190)는 오브젝트가 물품인 경우, 기 저장된 학습 모델(151)에 기초하여, 오브젝트의 물품 정보와 소정 범위 내의 유사도를 가지는 하나 이상의 검색 물품에 관한 정보를 획득할 수 있다.
예를 들면, 프로세서(190)는 규격 정보가 고려된 물품 정보에 기초하여 기 저장된 오브젝트와 유사도가 50% 이상인 물품을 검색하여 출력할 수 있다. 선택적 실시 예로 상기 유사도는 검색 시간, 검색 정확도, 데이터의 량, 다른 이벤트 정보, 사용자의 의도 정보 등에 의해 다르게 설정될 수 있다.
다른 실시 예에 의하면, 상기 이미지 기반 정보 제공 장치(100)는 자체적으로 검색 물품에 관한 정보를 구비하지 않고, 외부의 정보 제공 시스템(300)으로부터 검색 물품에 관한 정보를 제공 받을 수 있다.
구체적으로, 프로세서(190)는 오브젝트의 물품 정보를 통신부(110)를 통해 정보 제공 시스템(300)으로 전송할 수 있으며, 정보 제공 시스템(300)은 인공 지능 연산을 수행하여 오브젝트의 물품 정보와 소정 범위 내의 유사도를 가지는 하나 이상의 검색 물품에 관한 정보를 이미지 상기 통신부(110)로 제공할 수 있다. 정보 제공 시스템(300)은 자체적으로 정보가 없는 경우, 통신 연결된 서버/시스템으로부터 해당 정보를 제공 받을 수 있다.
프로세서(190)는 검색 물품에 관한 정보를 획득하는 경우, 오브젝트의 규격 정보와의 유사도에 우선순위를 두어 상기 검색 물품에 관한 정보를 디스플레이(141)에 표시할 수 있다.
예를 들면, 프로세서(190)는 오브젝트의 규격 정보가 소정 범위 내로 유사한 검색 물품의 이미지 및 검색 물품에 관한 정보를 디스플레이(141)에 표시할 수 있다.
이하에서는 도 4 내지 도 15을 참고하여 본 발명의 다양한 실시 예에 따른 이미지 기반 정보 제공 장치(100)의 구체적인 구동을 설명하기로 한다.
도 4는 본 발명의 일 실시 예에 따른 AR 기반으로 오브젝트의 규격 정보를 디스플레이하는 이미지 기반 정보 제공 장치(100)의 구동을 설명하기 위한 도면이다.
프로세서(190)는 카메라(121)를 이용하여 촬영 범위(410) 내의 오브젝트(Ob3a)를 촬영할 수 있다. 여기서, 이미지 기반 정보 제공 장치(100)는 카메라(121) 전용 앱을 구동할 수 있으며, 상기 전용 앱은 AI 기능이 활성화되고 AR 아이템을 제공하는 AR 전용 앱일 수 있다.
이 경우, 프로세서(190)는 규격 정보를 획득하기 위한 기능을 활성화하기 위한 메뉴(420)를 디스플레이(141)에 표시할 수 있으며, 활성화 버튼(423)이 사용자에 의해 선택되면, 규격 정보를 측정하여 영상에 반영할 수 있다. 프로세서(190)는 오브젝트의 높이 정보(ARI3)를 디스플레이할 수 있다.
여기서, 규격 정보는 너비 정보, 높이 정보 등을 포함한 다양한 치수 정보를 포함할 수 있는데, 물품에 따라 다른 영역의 수치 정보가 규격 정보로 설정될 수 있다.
예를 들면, 프로세서(190)는 물품의 높이가 소정 범위를 넘는 경우, 높이 정보를 표시할 수 있으며, 물품이 모니터 또는 TV 계통이라면 화면의 대각선 길이를 규격 정보로 설정할 수 있다.
프로세서(190)는 오브젝트(Ob3a)의 규격 정보(ARI2)를 AR 기반으로 오브젝트(Ob3a)와 함께 상기 디스플레이(141)에 디스플레이할 수 있다. 여기서, 프로세서(190)는 검색 커맨드를 입력받는 검색 아이템(430)을 디스플레이할 수 있다.
프로세서(190)는 검색 아이템(430)이 선택되면, 오브젝트(Ob3a) 및 규격 정보에 기초하여 자체적으로 또는 정보 제공 시스템(300)으로부터 검색 정보를 획득할 수 있다. 상기 검색 정보는 오브젝트(Ob3a)가 물품인 경우, 검색 물품에 관한 정보를 포함할 수 있다.
프로세서(190)는 도 5 및 도 6과 같이 검색 물품에 관한 정보를 제공할 수 있는데, 도 5는 본 발명의 일 실시 예에 따른 오브젝트(Ob3a)와 관련된 검색 커맨드가 입력된 경우, 검색 물품에 관한 정보를 제1 방식으로 표시하는 이미지 기반 정보 제공 장치(100)의 구동을 설명하기 위한 도면이고, 도 6은 본 발명의 일 실시 예에 따른 오브젝트(Ob3a)와 관련된 검색 커맨드가 입력된 경우, 검색 물품에 관한 정보를 제2 방식으로 표시하는 이미지 기반 정보 제공 장치(100)의 구동을 설명하기 위한 도면이다.
도 5를 참고하면, 프로세서(190)는 오브젝트(Ob3a)의 규격 정보와의 유사도에 우선순위를 두어 검색 물품에 관한 정보를 디스플레이할 수 있다. 프로세서(190)는 오브젝트(Ob3a)의 규격 정보와 소정의 유사도를 갖는 복수의 물품 이미지(440, 440a~440n)를 디스플레이할 수 있다.
프로세서(190)는 오브젝트(Ob3a)의 규격 정보와의 유사도를 필터로 설정하고, 유사도가 소정 범위를 벗어난 검색 물품에 관한 정보를 필터링하고, 소정 범위 내의 검색 물품에 관한 정보를 상기 디스플레이(141)를 통해 디스플레이할 수 있다. 예를 들면, 프로세서(190)는 7 내지 9인치의 검색 물품에 관한 정보만 표시할 수 있다.
이때, 프로세서(190)는 검색 결과 더보기 메뉴(455)가 선택되면 다른 규격 정보를 가지는 검색 물품에 관한 정보를 디스플레이할 수 있다.
도 6을 참고하면, 프로세서(190)는 검색 물품에 관한 정보를 카테고리화(471, 471a~471c)하여 디스플레이할 수 있으며, 각 카테고리에 해당되는 검색 물품에 관한 정보를 표시할 수 있다. 예를 들면, 프로세서(190)는 6 인치 이하의 카테고리(471a)의 경우 이에 대응되는 물품 정보(471aa, 471ab)를 표시하며, 7~9인치의 카테고리(471b)의 경우 이에 대응되는 물품 정보(471ba~471bc)를 표시하고, 더 많은 검색 물품에 관한 정보가 있는 경우, 이를 선택할 수 있는 아이템(471bn)을 제공할 수 있다. 프로세서(190)는 10~12 인치의 카테고리(471c)의 경우 이에 대응되는 물품 정보(471ca~471cc)를 표시하고, 더 많은 검색 물품에 관한 정보가 있는 경우, 이를 선택할 수 있는 아이템(471cn)을 제공할 수 있다. 또한, 프로세서(190)는 해당 정보가 특정 물품 정보(461)라는 것을 표시할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 AR 기반으로 오브젝트의 규격 정보를 디스플레이하는 이미지 기반 정보 제공 장치(100)의 구동을 설명하기 위한 도면이다.
프로세서(190)는 카메라(121)를 이용하여 촬영 범위(410) 내의 오브젝트(Ob5a)를 촬영할 수 있다. 이 경우, 프로세서(190)는 규격 정보를 획득하기 위한 기능을 활성화하기 위한 메뉴(420)를 디스플레이(141)에 표시할 수 있으며, 활성화 버튼(423)이 사용자에 의해 선택되면, 규격 정보를 측정하여 영상에 반영할 수 있다. 그러면, 프로세서(190)는 오브젝트의 화면 대각선 정보(ARI3)를 AR 기반으로 디스플레이할 수 있다.
여기서, 프로세서(190)는 오브젝트의 물품 정보에 따라 서로 다른 규격 정보를 디스플레이할 수 있다. 디스플레이되는 규격 정보는 물품의 속성 정보, 선호도 정보, 너비 정보/높이 정보, 면적 정보, 용적 정보 등에 따라 다르게 표시될 수 있으며, 상기 규격 정보는 기 저장된 학습 모델(151)에 의해 설정될 수 있다.
프로세서(190)는 오브젝트(Ob5a)의 규격 정보를 AR 기반으로 오브젝트(Ob5a)와 함께 상기 디스플레이(141)에 디스플레이할 수 있다. 여기서, 프로세서(190)는 검색 커맨드를 입력받는 검색 아이템(430)을 디스플레이할 수 있다.
프로세서(190)는 검색 아이템(430)이 선택되면, 오브젝트(Ob5a) 및 규격 정보에 기초하여 자체적으로 또는 정보 제공 시스템(300)으로부터 검색 정보를 획득할 수 있다. 상기 검색 정보는 오브젝트(Ob5a)가 물품인 경우, 검색 물품에 관한 정보를 포함할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 오브젝트와 관련된 검색 커맨드가 입력된 경우, 검색 물품에 관한 정보를 표시하는 이미지 기반 정보 제공 장치(100)의 구동을 설명하기 위한 도면이다.
도 8을 참고하면, 프로세서(190)는 오브젝트(도 7의 Ob5a)에 대응되는 TV(및/또는 모니터)만 검색 물품에서 선택하여 표시(483, 483a~483h)할 수 있다. 이에 따라, 디스플레이 면적이 소정 이하인 경우에는 필터링될 수 있다.
또한, 프로세서(190)는 다양한 검색 조건(481)을 제공할 수 있다. 예를 들면, 프로세서(190)는 검색 물품에 관한 정보 중에서 제조사별로 보기 메뉴(481a), 구매 선호별 보기 메뉴(481b), 디멘션 별 보기 메뉴(481c) 등을 사용자에게 제공하여 서로 다른 옵션으로 검색 물품에 관한 정보를 제공할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 오브젝트와 관련된 검색 커맨드가 입력된 경우, 검색 물품의 일 영역을 디스플레이하고 기능 정보를 제공하는 이미지 기반 정보 제공 장치(100)의 구동을 설명하기 위한 도면이다.
도 9를 참고하면, 프로세서(190)는 검색 커맨드(도 4의 430)가 입력되면, 오브젝트(Ob1b)의 물품 정보에 기초하여 물품의 외관 정보, 물품의 기능 정보, 물품의 형상/모양 정보 등을 디스플레이할 수 있다.
또한, 프로세서(190)는 오브젝트(Ob1b)를 360도 회전시킬 수 있으며, 도어가 있는 물품의 경우, 도어를 오픈시킬 수 있다. 또한, 프로세서(190)는 다양한 기능 정보(910)를 표시할 수 있다.
여기서, 프로세서(190)는 가전 제품 판매 매장에서 특정 제조사의 제품에 대한 특징 및 정보를 판매원이 사용자에게 설명할 때, 태블릿 PC 등을 이용하여 도 9의 영상을 제공할 수 있어서, 사용자 편의가 제고될 수 있다.
도 10은 본 발명의 다른 실시 예에 따른 오브젝트와 관련된 검색 커맨드가 입력된 경우, 검색 물품의 일 영역을 디스플레이하고 사용 방법에 관한 정보를 제공하는 이미지 기반 정보 제공 장치(100)의 구동을 설명하기 위한 도면이다.
도 10을 참고하면, 프로세서(190)는 오브젝트(Ob1b)를 오픈시킨 상태에서 각 공간(AA1, AA2)의 사용 방법을 표시(933a, 933b)할 수 있다. 예를 들면, 프로세서(190)는 제1 공간(AA1)의 먼지 제거 방법을 사용자의 요청(933a1)에 따라 제공할 수 있으며, 제2 공간(AA2)의 급 배수통 관리 방법을 사용자의 요청(933b1)에 의해 제공할 수 있다. 이때, 프로세서(190)는 링크된 페이지를 연결하는 앱 등을 사용자에게 제공할 수 있다.
도 11은 본 발명의 일 실시 예에 따른 오브젝트와 관련된 검색 커맨드가 입력된 경우, 물품 종류가 동일하고 규격 정보에 차이를 두는 하나 이상의 검색 물품을 제공하는 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면이다.
도 11을 참고하면, 프로세서(190)는 검색 아이템(430)이 선택되면, 검색 물품에 관한 정보를 디스플레이할 수 있다.
여기서, 프로세서(190)는 물품 종류가 동일하고, 규격 정보에 차이를 두는 검색 물품이 하나 이상 검색된 경우 상기 하나 이상의 검색 물품을 함께 제공할 수 있다. 상기 검색 물품은 의류 관리기, 오븐, 냉장고, 김치 냉장고, 세탁기, 와인 셀러, TV 등을 포함하여 다양할 수 있다.
실시 예에 따르면, 프로세서(190)는 오브젝트가 의류 관리기이고, 검색 물품이 복수 개(Ob1e, Ob1f)의 모델인 경우, 이를 표시할 수 있다. 또한, 프로세서(190)는 모델 제원 비교 메뉴(1110)가 선택되면, 복수 개의 물품을 비교하는 UI 화면을 제공할 수 있다. 선택적 실시 예로 프로세서(190)는 검색 물품(Ob1e, Ob1f)를 표시하고, 검색 물품의 제원 정보를 비교하여 표시할 수 있다.
선택적 또는 부가적 실시 예로, 프로세서(190)는 특정 제조사의 모델 라인업에 포함된 물품을 여러 개 함께 표시할 수 있으며, 다양한 제조사의 유사 모델 라인업에 포함된 물품을 서로 비교하여 디스플레이(141)에 표현할 수 있다. 프로세서(190)는 단순 규격 정보만 차이를 두는 물품들을 표시할 수 있으며, 유사한 기능을 갖는 물품들을 비교하여 디스플레이(141)에 표시할 수 있다.
도 12는 도 11의 특정 메뉴(모델 제원 비교 메뉴, 1110)가 선택되는 경우, 검색 물품에 관한 정보를 비교하는 표를 제공하는 이미지 기반 정보 제공 장치의 구동을 설명하기 위한 도면이다.
도 12를 참고하면, 예시적으로 이미지 기반 정보 제공 장치(100)는 복수의 모델(Ob1e, Ob1f)의 모델명 정보, 용량 정보, 디자인 정보, 보증 기간 정보, 와이파이 지원 여부 정보, 실내 제습 기능 정보, 구매 인기도 정보, 제조사 정보, 제안 정보 등을 디스플레이(141)에 표시할 수 있다. 프로세서(190)는 사용자의 상황에 기초하여 구매 정보를 제안할 수 있다. 예를 들면, 프로세서(190)는 "4인 가구라면 S1을 추천드립니다. 구매 하시겠습니까"와 같은 제안 문구를 표시할 수 있으며, 링크 메뉴(1220)가 선택되면 해당 링크 페이지로 이동할 수 있다. 프로세서(190)는 다양한 기능 차이를 부각하여 사용자에게 제공할 수 있다.
도 13은 본 발명의 일 실시 예에 따른 오브젝트의 부분 영역만 인식되는 경우, 이미지 기반 정보 제공 장치(100)의 구동을 설명하기 위한 도면이다.
프로세서(190)는 카메라(121)를 이용하여 촬영 범위(410) 내의 오브젝트(Ob7a)를 촬영할 수 있다. 상기 오브젝트(Ob7a)는 실제 오브젝트의 부분 영역일 수 있다.
이 경우, 프로세서(190)는 규격 정보를 획득하기 위한 기능을 활성화하기 위한 메뉴(420)를 디스플레이(141)에 표시할 수 있으며, 활성 메뉴(423)가 사용자에 의해 선택되면, 규격 정보를 측정하여 영상에 반영할 수 있다. 프로세서(190)는 오브젝트의 너비 정보(ARI5a) 및 높이 정보(ARI5b)를 함께 디스플레이(ARI5)할 수 있다.
프로세서(190)는 오브젝트(Ob7a)의 규격 정보를 AR 기반으로 오브젝트(Ob7a)와 함께 상기 디스플레이(141)에 디스플레이할 수 있다.
프로세서(190)는 검색 아이템(430)이 선택되는 경우, 정보 제공 시스템(300)에 상기 부분 영역에 대한 정보 및 부분 영역의 규격 정보를 통신부(110)를 통해 정보 제공 시스템(300)으로 제공할 수 있다.
그러면, 프로세서(190)는 부분 영역에 대한 정보 및 상기 부분 영역의 규격 정보와 소정 범위 내의 유사도를 갖는 검색 물품에 관한 정보를 상기 통신부(110)를 통해 정보 제공 시스템(300)으로부터 제공받을 수 있다. 즉, 프로세서(190)는 오브젝트의 부분 영역만 촬영했더라도 정보 제공 시스템(300)의 물품 매칭 프로그램에 의해 촬영된 부분 영역에 대응되는 오브젝트의 전체 영역을 획득할 수 있다. 선택적 실시 예로, 상기 기능은 이미지 기반 정보 제공 장치(100)에도 구현될 수 있다.
도 14는 도 13의 오브젝트와 관련된 검색 커맨드(430)가 입력된 경우, 이미지 기반 정보 제공 장치(100)의 구동을 설명하기 위한 도면이다.
프로세서(190)는 오브젝트의 부분 영역(Ob7b)을 디스플레이하고, 상기 오브젝트의 부분 영역 이외의 영역을 상기 검색 물품에 관한 정보에서 추출하여 AR 기반으로 제공(Ob7c)할 수 있으며, 프로세서(190)는 규격 정보(ARI7a, ARI7b)도 디스플레이(141)에 표시할 수 있다. 선택적 실시 예로 프로세서(190)는 영상(오브젝트의 부분 영역 영상 + AR 영상)을 조합하지 않고, 정보 제공 시스템(300)으로부터 수신한 검색 물품에 관한 정보에 기초하여 오브젝트를 표시할 수도 있다.
도 15은 본 발명의 일 실시 예에 따른 복수의 오브젝트가 인식되는 경우, 이미지 기반 정보 제공 장치(100)의 구동을 설명하기 위한 도면이다.
도 15를 참고하면, 프로세서(190)는 복수의 오브젝트(Ob9a~Ob9c)가 인식되는 경우, 복수의 오브젝트(Ob9a~Ob9c) 중에서 하나의 오브젝트를 선택할 수 있다. 프로세서(190)는 사용자의 조작을 ?v해 오브젝트를 결정할 수 있으며, 촬영 범위(410)의 가장 많은 범위를 차지하는 오브젝트(Ob9a)를 오브젝트로 결정할 수 있다. 이에 따라, 프로세서(190)는 복수의 오브젝트가 촬영 범위 내에 배치된 경우, 사용자 선호 또는 기 설정된 프로그램에 기초하여 오브젝트를 선택 및 결정할 수 있다.
도 16은 본 발명의 일 실시 예에 따른 이미지 기반 정보 제공 장치(100)의 구동 방법을 나타내는 시퀀스도이다.
먼저, 이미지 기반 정보 제공 장치(100)는 카메라의 촬영 범위 내에 배치된 오브젝트를 인식한다(S710 단계, 이하, "오브젝트 인식 단계").
그 다음으로, 이미지 기반 정보 제공 장치(100)는 오브젝트의 규격 정보를 획득한다(S720 단계, 이하, "규격 정보 획득 단계").
그 후에, 이미지 기반 정보 제공 장치(100)는 AR 기반으로 오브젝트의 규격 정보를 오브젝트와 함께 디스플레이한다(S730 단계, 이하, "규격 정보를 AR 기반으로 디스플레이하는 단계").
그 후에, 이미지 기반 정보 제공 장치(100)는 소정의 검색 커맨드가 입력되면, 오브젝트 및 규격 정보에 기초한 검색 정보를 획득한다(S740 단계, 이하, "검색 정보 획득 단계").
마지막으로, 이미지 기반 정보 제공 장치(100)는 검색 정보를 제공한다(S750 단계, "검색 정보 제공 단계").
상기 이미지 기반 정보 제공 장치(100)의 정보 제공 방법은 오브젝트의 규격 정보에 기초하여, 오브젝트의 물품 정보를 획득하는 단계를 포함한다.
검색 정보 획득 단계(S740 단계)는 기 저장된 학습 모델에 기초하여, 오브젝트의 물품 정보와 소정 범위 내의 유사도를 가지는 하나 이상의 검색 물품에 관한 정보를 획득하는 단계를 포함할 수 있다.
다른 실시 예에 의하면, 검색 정보 획득 단계(S740 단계)는 오브젝트의 물품 정보를 정보 제공 시스템으로 전송하는 단계, 및 오브젝트의 물품 정보와 소정 범위 내의 유사도를 가지는 하나 이상의 검색 물품에 관한 정보를 획득하는 단계를 포함할 수 있다.
상기 검색 정보 제공 단계(S750 단계)는 오브젝트의 규격 정보와의 유사도에 우선순위를 두어 상기 검색 물품에 관한 정보를 제공할 수 단계를 포함할 수 있다.
구체적, 선택적 및 부가적 실시 예로, 상기 검색 정보 제공 단계(S750 단계)는 오브젝트의 규격 정보와의 유사도를 필터로 설정하고, 상기 유사도가 소정 범위를 벗어난 검색 물품에 관한 정보를 필터링하는 단계 및 소정 범위 내의 검색 물품에 관한 정보를 제공하는 단계를 포함할 수 있다.
또한, 상기 검색 정보 제공 단계(S750 단계)는 오브젝트의 물품 정보에 기초하여 상기 물품의 외관 정보, 물품의 기능 정보, 물품의 형상 정보 및 물품 구성의 사용 방법 중 적어도 하나를 제공하는 단계를 포함할 수 있다. 여기서, 형상 정보는 3차원적인 물품의 형상을 포함할 수 있다.
선택적 실시 예로, 상기 검색 정보 제공 단계(S750 단계)는 물품 종류가 동일하고, 규격 정보에 차이를 두는 검색 물품이 하나 이상 검색된 경우 상기 하나 이상의 검색 물품을 함께 제공하되, 상기 하나 이상의 검색 물품에 대한 제원 정보를 비교하여 제공하는 단계를 포함할 수 있다.
규격 정보 획득 단계(S720 단계)는 오브젝트의 부분 영역만 인식된 경우, 상기 부분 영역의 규격 정보를 획득하는 단계를 포함할 수 있으며, 이때, 상기 검색 정보 획득 단계(S740 단계)는 부분 영역에 대한 정보, 상기 부분 영역의 규격 정보를 정보 제공 시스템으로 전송하는 단계 및 상기 부분 영역에 대한 정보 및 상기 부분 영역의 규격 정보와 소정 범위 내의 유사도를 갖는 검색 물품에 관한 정보를 획득하는 단계를 포함할 수 있다.
구체적 또는 선택적 실시 예로, 상기 검색 정보 제공 단계(S750 단계)는 오브젝트의 부분 영역을 디스플레이하고, 상기 오브젝트의 부분 영역 이외의 영역을 상기 검색 물품에 관한 정보에서 추출하여 AR 기반으로 제공하는 단계를 포함할 수 있다.
선택적 실시 예로, 오브젝트 인식 단계(S710 단계)는 카메라의 촬영 범위 내에 하나 이상의 오브젝트가 인식된 경우, 사용자 조작에 의해 오브젝트를 선택하거나 촬영 영역을 우세하게 점유하는 오브젝트를 선택하는 단계를 포함할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 상기 컴퓨터는 이미지 기반 정보 제공 장치(100)의 프로세서(190)를 포함할 수도 있다.
앞에서, 본 발명의 특정한 실시예가 설명되고 도시되었지만 본 발명은 기재된 실시예에 한정되는 것이 아니고, 이 기술 분야에서 통상의 지식을 가진 자는 본 발명의 사상 및 범위를 벗어나지 않고서 다른 구체적인 실시예로 다양하게 수정 및 변형할 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 설명된 실시예에 의하여 정하여 질 것이 아니고 청구범위에 기재된 기술적 사상에 의해 정하여져야 할 것이다.
Claims (20)
- 이미지 기반 정보 제공 방법으로서,
카메라의 촬영 범위 내에 배치된 오브젝트를 인식하는 단계;
상기 오브젝트의 규격(Specification) 정보를 획득하는 단계;
상기 오브젝트의 규격 정보를 AR(Augmented Reality) 기반으로 상기 오브젝트와 함께 디스플레이하는 단계;
소정의 검색 커맨드가 입력되면, 상기 오브젝트 및 상기 규격 정보에 기초한 검색 정보를 획득하는 단계; 및
상기 검색 정보를 제공하는 단계를 포함하고,
상기 오브젝트의 규격 정보에 기초하여, 상기 오브젝트의 물품 정보를 획득하는 단계를 더 포함하며,
상기 검색 정보를 획득하는 단계는,
상기 오브젝트의 물품 정보를 정보 제공 시스템으로 전송하는 단계; 및
상기 오브젝트의 물품 정보와 소정 범위 내의 유사도를 가지는 하나 이상의 검색 물품에 관한 정보를 상기 정보 제공 시스템으로부터 획득하는 단계를 포함하는, 이미지 기반 정보 제공 방법. - 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 검색 정보를 제공하는 단계는,
상기 오브젝트의 규격 정보와의 유사도에 우선순위를 두어 상기 검색 물품에 관한 정보를 제공하는 단계를 포함하는, 이미지 기반 정보 제공 방법. - 제5항에 있어서,
상기 검색 물품에 관한 정보를 제공하는 단계는,
상기 오브젝트의 규격 정보와의 유사도를 필터로 설정하고, 상기 유사도가 소정 범위를 벗어난 검색 물품에 관한 정보를 필터링(Filtering out)하는 단계; 및
상기 소정 범위 내의 검색 물품에 관한 정보를 제공하는 단계를 포함하는, 이미지 기반 정보 제공 방법. - 제1항에 있어서,
상기 검색 정보를 제공하는 단계는,
상기 오브젝트의 물품 정보에 기초하여 상기 물품의 외관 정보, 물품의 기능 정보, 물품의 형상 정보 및 물품 구성의 사용 방법 중 적어도 하나를 제공하는 단계를 포함하는, 이미지 기반 정보 제공 방법. - 제1항에 있어서,
상기 검색 정보를 제공하는 단계는,
물품 종류가 동일하고, 규격 정보에 차이를 두는 검색 물품이 하나 이상 검색된 경우 상기 하나 이상의 검색 물품을 함께 제공하되, 상기 하나 이상의 검색 물품에 대한 제원 정보를 비교하여 제공하는 단계를 포함하는, 이미지 기반 정보 제공 방법. - 제1항에 있어서,
상기 오브젝트의 규격 정보를 획득하는 단계는,
상기 오브젝트의 부분 영역만 인식된 경우, 상기 부분 영역의 규격 정보를 획득하는 단계를 포함하고,
상기 검색 정보를 획득하는 단계는,
상기 부분 영역에 대한 정보 및 상기 부분 영역의 규격 정보를 정보 제공 시스템으로 전송하는 단계; 및
상기 부분 영역에 대한 정보 및 상기 부분 영역의 규격 정보와 소정 범위 내의 유사도를 갖는 검색 물품에 관한 정보를 획득하는 단계를 포함하는, 이미지 기반 정보 제공 방법. - 제9항에 있어서,
상기 검색 정보를 제공하는 단계는,
상기 오브젝트의 부분 영역을 디스플레이하고, 상기 오브젝트의 부분 영역 이외의 영역을 상기 검색 물품에 관한 정보에서 추출하여 AR 기반으로 보완하는 단계를 포함하는, 이미지 기반 정보 제공 방법. - 제1항에 있어서,
상기 오브젝트를 인식하는 단계는,
상기 카메라의 촬영 범위 내에 하나 이상의 오브젝트가 인식된 경우, 사용자 조작에 의해 오브젝트를 선택하거나 촬영 영역을 우세하게 점유하는 오브젝트를 선택하는 단계를 포함하는, 이미지 기반 정보 제공 방법. - 이미지 기반 정보 제공 장치로서,
카메라를 포함하는 입력부;
디스플레이; 및
상기 카메라의 촬영 범위 내에 배치된 오브젝트를 인식하고, 인식된 상기 오브젝트의 규격 정보를 획득하는 프로세서를 포함하며,
상기 프로세서는,
상기 오브젝트의 규격 정보를 AR 기반으로 상기 오브젝트와 함께 상기 디스플레이에 디스플레이하고, 소정의 검색 커맨드가 상기 입력부를 통해 입력되면 상기 오브젝트 및 상기 규격 정보에 기초한 검색 정보를 획득하고, 획득된 상기 검색 정보를 제공하고,
정보 제공 시스템과 통신하는 통신부를 더 포함하며,
상기 프로세서는,
상기 오브젝트의 물품 정보를 상기 통신부를 통해 상기 정보 제공 시스템으로 전송하고, 상기 오브젝트의 물품 정보와 소정 범위 내의 유사도를 가지는 하나 이상의 검색 물품에 관한 정보를 상기 통신부를 통해 상기 정보 제공 시스템으로부터 획득하는, 이미지 기반 정보 제공 장치. - 삭제
- 삭제
- 삭제
- 제12항에 있어서,
상기 프로세서는,
상기 오브젝트의 규격 정보와의 유사도에 우선순위를 두어 상기 검색 물품에 관한 정보를 상기 디스플레이를 통해 제공하는, 이미지 기반 정보 제공 장치. - 제16항에 있어서,
상기 프로세서는,
상기 오브젝트의 규격 정보와의 유사도를 필터로 설정하고, 상기 유사도가 소정 범위를 벗어난 검색 물품에 관한 정보를 필터링(filtering out)하고, 상기 소정 범위 내의 검색 물품에 관한 정보를 상기 디스플레이를 통해 제공하는, 이미지 기반 정보 제공 장치. - 제12항에 있어서,
상기 프로세서는,
상기 오브젝트의 물품 정보에 기초하여 상기 물품의 외관 정보, 물품의 기능 정보, 물품의 형상 정보 및 물품 구성의 사용 방법 중 적어도 하나를 상기 디스플레이를 통해 제공하는, 이미지 기반 정보 제공 장치. - 제12항에 있어서,
상기 프로세서는,
물품 종류가 동일하고, 규격 정보에 차이를 두는 검색 물품이 하나 이상 검색된 경우 상기 하나 이상의 검색 물품을 함께 제공하되, 상기 하나 이상의 검색 물품에 대한 제원 정보를 비교하여 상기 디스플레이를 통해 제공하는, 이미지 기반 정보 제공 장치. - 제12항에 있어서,
상기 프로세서는,
상기 오브젝트의 부분 영역만 인식된 경우, 상기 부분 영역의 규격 정보를 획득하고,
상기 부분 영역에 대한 정보 및 상기 부분 영역의 규격 정보를 상기 통신부를 통해 정보 제공 시스템으로 전송하고,
상기 부분 영역에 대한 정보 및 상기 부분 영역의 규격 정보와 소정 범위 내의 유사도를 갖는 검색 물품에 관한 정보를 상기 통신부를 통해 상기 정보 제공 시스템으로부터 획득하는, 이미지 기반 정보 제공 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190095658A KR102605355B1 (ko) | 2019-08-06 | 2019-08-06 | 이미지 기반 정보 제공 방법 및 장치 |
| US16/567,331 US10860856B2 (en) | 2019-08-06 | 2019-09-11 | Method and apparatus for providing information based on image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190095658A KR102605355B1 (ko) | 2019-08-06 | 2019-08-06 | 이미지 기반 정보 제공 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190099168A KR20190099168A (ko) | 2019-08-26 |
| KR102605355B1 true KR102605355B1 (ko) | 2023-11-22 |
Family
ID=67807992
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190095658A KR102605355B1 (ko) | 2019-08-06 | 2019-08-06 | 이미지 기반 정보 제공 방법 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10860856B2 (ko) |
| KR (1) | KR102605355B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11644940B1 (en) | 2019-01-31 | 2023-05-09 | Splunk Inc. | Data visualization in an extended reality environment |
| US11853533B1 (en) * | 2019-01-31 | 2023-12-26 | Splunk Inc. | Data visualization workspace in an extended reality environment |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8400548B2 (en) * | 2010-01-05 | 2013-03-19 | Apple Inc. | Synchronized, interactive augmented reality displays for multifunction devices |
| KR101232627B1 (ko) | 2011-04-06 | 2013-02-13 | 한태진 | 증강현실을 이용한 실시간 골프스윙 매칭분석 및 개선 모듈화 알고리즘 |
| KR101378595B1 (ko) * | 2011-04-19 | 2014-03-26 | 네오뷰코오롱 주식회사 | 투명한 디스플레이가 구비된 블루투스 단말장치 |
| EP2745236A1 (en) * | 2011-08-18 | 2014-06-25 | Layar B.V. | Computer-vision based augmented reality system |
| KR101961015B1 (ko) | 2017-05-30 | 2019-03-21 | 배재대학교 산학협력단 | 가상 스튜디오 연동 스마트 증강현실 서비스 시스템 및 방법 |
| KR102019299B1 (ko) * | 2017-06-30 | 2019-09-06 | 강동민 | 홈 스타일링 서버 및 이를 포함하는 시스템과, 홈 스타일링을 위한 영상 처리 방법 |
-
2019
- 2019-08-06 KR KR1020190095658A patent/KR102605355B1/ko active IP Right Grant
- 2019-09-11 US US16/567,331 patent/US10860856B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20200005042A1 (en) | 2020-01-02 |
| US10860856B2 (en) | 2020-12-08 |
| KR20190099168A (ko) | 2019-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111652678B (zh) | 物品信息显示方法、装置、终端、服务器及可读存储介质 | |
| US10789699B2 (en) | Capturing color information from a physical environment | |
| US10992839B2 (en) | Electronic device and method for controlling the electronic device | |
| EP3732588A1 (en) | Computer vision and image characteristic search | |
| US11417052B2 (en) | Generating ground truth datasets for virtual reality experiences | |
| US11164000B2 (en) | Method and mobile terminal for providing information based on image | |
| KR20190034021A (ko) | 객체를 인식하는 방법 및 장치 | |
| US11568202B2 (en) | Method and apparatus for determining goodness of fit related to microphone placement | |
| JP6897673B2 (ja) | 情報処理装置、情報処理方法および情報提供方法 | |
| US11436558B2 (en) | Refrigerator, operating method thereof and information providing system | |
| CN111897996A (zh) | 话题标签推荐方法、装置、设备及存储介质 | |
| US12062077B2 (en) | Method and system for providing search results for similar products based on deep-learning | |
| KR102605355B1 (ko) | 이미지 기반 정보 제공 방법 및 장치 | |
| CN112000264A (zh) | 菜品信息展示方法、装置、计算机设备及存储介质 | |
| US20240185508A1 (en) | Multisensorial presentation of volumetric content | |
| US20220101032A1 (en) | Method and system for product search based on deep-learning | |
| KR102605342B1 (ko) | 오브젝트 인식 기반의 정보 제공 방법 및 장치와 이를 위한 매핑 장치 | |
| Kalampokas et al. | Performance benchmark of deep learning human pose estimation for UAVs | |
| KR20190140509A (ko) | 재고 추적 방법 및 장치 | |
| KR20210158695A (ko) | 영상에서 평면을 검출하는 전자 장치 및 그 동작 방법 | |
| US20220358689A1 (en) | Curated contextual overlays for augmented reality experiences | |
| KR102401626B1 (ko) | 이미지 기반 상품검색 방법 및 그 시스템 | |
| US20230401796A1 (en) | Fast ar device pairing using depth predictions | |
| US20240111312A1 (en) | Electronic apparatus for identifying an operating state of a robot device and controlling method thereof | |
| US20240212287A1 (en) | Augmented reality ergonomics evaluation system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |