KR20200054787A - 외국어 사용자를 위한 쇼핑 지원 시스템 및 방법 - Google Patents

외국어 사용자를 위한 쇼핑 지원 시스템 및 방법 Download PDF

Info

Publication number
KR20200054787A
KR20200054787A KR1020180138504A KR20180138504A KR20200054787A KR 20200054787 A KR20200054787 A KR 20200054787A KR 1020180138504 A KR1020180138504 A KR 1020180138504A KR 20180138504 A KR20180138504 A KR 20180138504A KR 20200054787 A KR20200054787 A KR 20200054787A
Authority
KR
South Korea
Prior art keywords
image
product
shopping
product information
mobile terminal
Prior art date
Application number
KR1020180138504A
Other languages
English (en)
Inventor
신철호
김연규
이종호
Original Assignee
롯데정보통신 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 롯데정보통신 주식회사 filed Critical 롯데정보통신 주식회사
Priority to KR1020180138504A priority Critical patent/KR20200054787A/ko
Publication of KR20200054787A publication Critical patent/KR20200054787A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Library & Information Science (AREA)
  • Finance (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

외국어 사용자를 위한 쇼핑 지원 시스템 및 방법이 개시된다.
본 발명의 일 실시예에 따른 외국어 사용자를 위한 쇼핑 지원 시스템은, 모바일 단말의 입력부를 통해 사용자 명령을 입력받아 출력 언어를 선택하는 출력 언어 선택부; 상기 모바일 단말의 카메라를 통해 촬영되거나 상기 모바일 단말에 저장된 영상을 획득하는 영상 획득부; 영상 인식 알고리즘을 이용하여 상기 획득된 영상에서 쇼핑 대상 상품을 인식하는 상품 인식부; 상품 정보 데이터베이스에서 상기 쇼핑 대상 상품의 상품 정보를 획득하는 상품 정보 획득부; 및 상기 획득된 상품 정보를 상기 모바일 단말의 출력부를 통해 상기 선택된 출력 언어로 출력하는 상품 정보 출력부를 포함한다.

Description

외국어 사용자를 위한 쇼핑 지원 시스템 및 방법{Shopping support system and method for foreign language user}
본 발명은 외국어 사용자를 위한 쇼핑 지원 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 오프라인 매장에서 외국어 사용자에게 쇼핑 대상 상품에 대한 정보를 제공하는 쇼핑 지원 시스템 및 방법에 관한 것이다.
일반적으로, 영상 인식(image recognition) 기술은 컴퓨터 시스템을 이용하여 영상에 나타난 객체를 인식하는 기술을 말한다. 최근, 이러한 영상 인식 기술과 이동 통신 기술의 발전에 따라, 모바일 단말의 카메라를 통해 촬영된 상품을 인식하여 해당 상품과 관련된 정보를 제공하는 기술이 소개되고 있다.
그러나, 한국 공개특허공보 제10-2017-0005376호에 개시된 바와 같이, 기존 기술은 단말기로 촬영된 영상에서 관심 상품을 인식하여 해당 상품에 관한 미리 저장된 쇼핑 정보만을 제공하기 때문에, 서로 다른 언어를 사용하는 외국어 사용자들이 공통적으로 이용할 수 있는 오프라인 쇼핑 지원 서비스를 제공할 수 없다는 문제점이 있다. 특히, 기존 기술은 촬영된 영상에 복수의 상품이 포함된 경우, 사용자가 쇼핑하고자 하는 대상 상품을 정확히 인식할 수 없기 때문에, 사용자에게 제공되는 상품 정보의 정확성과 신뢰성을 보장할 수 없으며, 사용자에게 영상 편집 작업 등과 같은 별도의 작업을 요구하게 되어 사용자 편의성이 떨어지는 문제점이 있다.
본 발명이 해결하고자 하는 기술적 과제는, 서로 다른 언어를 사용하는 외국어 사용자들이 공통적으로 이용할 수 있는 오프라인 쇼핑 지원 서비스를 제공할 수 있으며, 사용자에게 제공되는 상품 정보의 정확성과 신뢰성을 보장하고 사용자 편의성을 개선하는 쇼핑 지원 시스템 및 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 외국어 사용자를 위한 쇼핑 지원 시스템은, 모바일 단말의 입력부를 통해 사용자 명령을 입력받아 출력 언어를 선택하는 출력 언어 선택부; 상기 모바일 단말의 카메라를 통해 촬영되거나 상기 모바일 단말에 저장된 영상을 획득하는 영상 획득부; 영상 인식 알고리즘을 이용하여 상기 획득된 영상에서 쇼핑 대상 상품을 인식하는 상품 인식부; 상품 정보 데이터베이스에서 상기 쇼핑 대상 상품의 상품 정보를 획득하는 상품 정보 획득부; 및 상기 획득된 상품 정보를 상기 모바일 단말의 출력부를 통해 상기 선택된 출력 언어로 출력하는 상품 정보 출력부를 포함한다.
일 실시예에 있어서, 상기 출력 언어 선택부는, 사용자로 하여금 복수의 언어 중 하나의 언어를 선택하도록 하는 사용자 인터페이스를 상기 모바일 단말의 화면을 통해 표시하고, 상기 사용자 인터페이스를 통해 사용자가 선택한 언어를 상기 출력 언어로 선택하도록 구성될 수 있다.
일 실시예에 있어서, 상기 상품 인식부는, 상기 획득된 영상에서 특정 방향을 지시하는 사용자의 핑거 이미지를 검출하는 핑거 이미지 검출부; 및 상기 획득된 영상에서 상기 검출된 핑거 이미지가 지시하는 방향에 위치한 상품을 상기 쇼핑 대상 상품으로 인식하여 상기 획득된 영상에서 상기 쇼핑 대상 상품의 이미지를 검출하는 상품 이미지 검출부를 포함할 수 있다.
일 실시예에 있어서, 상기 상품 이미지 검출부는, 상기 획득된 영상에 복수의 상품 이미지가 포함되어 있으나 사용자의 핑거 이미지가 포함되어 있지 않은 경우, 상기 획득된 영상을 상기 모바일 단말의 화면에 표시하고, 상기 화면의 전체 영역 중 사용자의 터치가 발생한 지점에 표시된 상품을 상기 쇼핑 대상 상품으로 인식하여 상기 획득된 영상에서 상기 쇼핑 대상 상품의 이미지를 검출하도록 구성될 수 있다.
일 실시예에 있어서, 상기 상품 정보 획득부는, 상기 상품 정보 데이터베이스를 검색하여 상기 쇼핑 대상 상품의 이미지에 대응하는 상품 정보 또는 상기 쇼핑 대상 상품의 이미지에서 추출된 특징 정보에 대응하는 상품 정보를 획득하도록 구성될 수 있다.
일 실시예에 있어서, 상기 상품 정보 출력부는, 상기 획득된 상품 정보를 상기 선택된 출력 언어로 기술한 텍스트를 생성하는 텍스트 생성부; 및 TTS(Text to Speech) 알고리즘을 이용하여 상기 생성된 텍스트에 따른 상품 정보를 상기 모바일 단말의 음향 출력 수단을 통해 상기 선택된 출력 언어로 발화하는 상품 정보 발화부를 포함할 수 있다.
본 발명의 일 실시예에 따른 외국어 사용자를 위한 쇼핑 지원 방법은, 컴퓨터 시스템을 이용하여 외국어 사용자의 쇼핑을 지원하는 방법으로서, 상기 시스템이 모바일 단말의 입력부를 통해 사용자 명령을 입력받아 출력 언어를 선택하는 (a) 단계; 상기 시스템이 상기 모바일 단말의 카메라를 통해 촬영되거나 상기 모바일 단말에 저장된 영상을 획득하는 (b) 단계; 상기 시스템이 영상 인식 알고리즘을 이용하여 상기 획득된 영상에서 쇼핑 대상 상품을 인식하는 (c) 단계; 상기 시스템이 상품 정보 데이터베이스에서 상기 쇼핑 대상 상품의 상품 정보를 획득하는 (d) 단계; 및 상기 시스템이 상기 획득된 상품 정보를 상기 모바일 단말의 출력부를 통해 상기 선택된 출력 언어로 출력하는 (e) 단계를 포함한다.
일 실시예에 있어서, 상기 (a) 단계는, 사용자로 하여금 복수의 언어 중 하나의 언어를 선택하도록 하는 사용자 인터페이스를 상기 모바일 단말의 화면을 통해 표시하는 (a1)단계; 및 상기 사용자 인터페이스를 통해 사용자가 선택한 언어를 상기 출력 언어로 선택하는 (a2) 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 (c) 단계는, 상기 획득된 영상에서 특정 방향을 지시하는 사용자의 핑거 이미지를 검출하는 (c1) 단계; 및 상기 획득된 영상에서 상기 검출된 핑거 이미지가 지시하는 방향에 위치한 상품을 상기 쇼핑 대상 상품으로 인식하여 상기 획득된 영상에서 상기 쇼핑 대상 상품의 이미지를 검출하는 (c2) 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 (c) 단계는, 상기 획득된 영상에 복수의 상품 이미지가 포함되어 있으나 사용자의 핑거 이미지가 포함되어 있지 않은 경우, 상기 획득된 영상을 상기 모바일 단말의 화면에 표시하는 (c3) 단계; 및 상기 화면의 전체 영역 중 사용자의 터치가 발생한 지점에 위치한 상품을 상기 쇼핑 대상 상품으로 인식하여 상기 획득된 영상에서 상기 쇼핑 대상 상품의 이미지를 검출하는 (c4) 단계를 더 포함할 수 있다.
일 실시예에 있어서, 상기 (d) 단계는, 상기 상품 정보 데이터베이스를 검색하여 상기 쇼핑 대상 상품의 이미지에 대응하는 상품 정보 또는 상기 쇼핑 대상 상품의 이미지에서 추출된 특징 정보에 대응하는 상품 정보를 획득하는 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 (e) 단계는, 상기 획득된 상품 정보를 상기 선택된 출력 언어로 기술한 텍스트를 생성하는 (e1) 단계; 및 TTS(Text to Speech) 알고리즘을 이용하여 상기 생성된 텍스트에 따른 상품 정보를 상기 모바일 단말의 음향 출력 수단을 통해 상기 선택된 출력 언어로 발화하는 (e2) 단계를 포함할 수 있다.
본 발명에 따른 실시예들은, 상술한 동작 또는 방법을 컴퓨터 시스템을 통해 실행하는 컴퓨터 프로그램으로서 기록매체에 기록되는 컴퓨터 프로그램을 이용하여 구현될 수 있다.
본 발명에 따르면, 모바일 단말 통해 획득된 영상에서 쇼핑 대상 상품을 인식하고, 인식된 쇼핑 대상 상품에 관한 정보를 모바일 단말 사용자에 의해 선택된 언어로 발화함으로써, 서로 다른 언어를 사용하는 사용자들이 공통적으로 이용할 수 있는 오프라인 쇼핑 지원 서비스를 제공할 수 있다.
또한, 모바일 단말의 통해 획득된 영상에서 사용자의 핑거 이미지를 검출하여 상기 핑거 이미지가 지시하는 방향에 위치한 상품을 쇼핑 대상 상품으로 인식함으로써, 해당 영상에 복수의 상품 이미지가 포함된 경우에도 쇼핑 대상 상품을 정확히 인식할 수 있으며, 사용자에게 제공되는 상품 정보의 정확성과 신뢰성을 보장하고 사용자 편의성을 개선할 수 있다.
또한, 모바일 단말의 통해 획득된 영상에서 사용자의 핑거 이미지가 검출되지 않는 경우, 모바일 단말의 화면에 표시된 영상에서 사용자의 터치가 발생한 지점의 상품을 쇼핑 대상 상품으로 인식함으로써, 사용자 편의성을 더욱 개선할 수 있다.
나아가, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면, 본 발명에 따른 다양한 실시예들이 상기 언급되지 않은 여러 기술적 과제들을 해결할 수 있음을 이하의 설명으로부터 자명하게 이해할 수 있을 것이다.
도 1은 본 발명이 적용되는 통신 네트워크 환경의 일례를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 외국어 사용자를 위한 쇼핑 지원 시스템을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 외국어 사용자를 위한 쇼핑 지원 방법을 나타낸 흐름도이다.
도 4는 모바일 단말에 표시된 출력 언어 선택용 사용자 인터페이스의 일례를 나타낸 도면이다.
도 5는 복수의 상품을 포함하는 영상의 일례를 나타낸 도면이다.
도 6은 복수의 상품을 포함하는 영상의 다른 일례를 나타낸 도면이다.
이하, 본 발명의 기술적 과제에 대한 해결 방안을 명확화하기 위해 첨부도면을 참조하여 본 발명의 실시예들을 상세하게 설명한다. 다만, 본 발명을 설명함에 있어서 관련 공지기술에 관한 설명이 오히려 본 발명의 요지를 불명료하게 하는 경우 그에 관한 설명은 생략하기로 한다. 또한, 본 명세서에서 사용되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이들은 설계자, 제조자 등의 의도 또는 관례 등에 따라 달라질 수 있을 것이다. 그러므로 후술되는 용어들의 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1에는 본 발명이 적용되는 통신 네트워크 환경의 일례가 도시되어 있다.
도 1에 도시된 바와 같이, 본 발명에 따른 쇼핑 지원 시스템(100)은 모바일 단말(10), 상품 정보 제공 서버(20) 등과 연동하며 모바일 단말(10)의 사용자에게 오프라인 쇼핑 지원 서비스를 제공할 수 있다.
본 발명에 있어서, 모바일 단말(10)은 스마트폰, 태블릿 PC, PDA 등과 같이 사용자가 휴대할 수 있는 이동 통신 장치로서, 카메라 기능과 데이터 통신 기능 등을 지원하는 모든 종류의 이동 통신 장치를 의미한다. 이러한 모바일 단말(10)에는 본 발명에 따른 오프라인 쇼핑 지원 서비스를 받기 위한 전용 애플리케이션이 설치될 수 있다.
상품 정보 제공 서버(20)는 쇼핑 대상 상품들의 종류, 명칭, 가격, 제조사, 상품 상세 설명 등과 같은 상품 정보를 데이터베이스화하여 관리하며 쇼핑 지원 시스템(100)에 제공하도록 구성될 수 있다.
본 발명의 일 실시예에 따른 쇼핑 지원 시스템(100)은, 도 1과 같이 통신 네트워크를 통해 모바일 단말(10) 및 상품 정보 제공 서버(20) 등과 데이터 통신을 수행하는 독립된 서버나 컴퓨터 시스템으로 구성될 수 있다.
실시예에 따라, 쇼핑 지원 시스템(100)은 그 구성의 일부 또는 전부가 모바일 단말(10)과 통합되거나 상품 정보 제공 서버(20)와 통합되도록 구성될 수도 있다.
도 2에는 본 발명의 일 실시예에 따른 외국어 사용자를 위한 쇼핑 지원 시스템(100)이 블록도로 도시되어 있다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 쇼핑 지원 시스템(100)은 통신부(102), 저장부(104), 제어부(106) 등을 포함하며, 물리적으로 1 또는 2 이상의 서버나 컴퓨터 시스템으로 구성될 수 있다.
이 경우, 통신부(102)는 유·무선 통신 네트워크를 통해 모바일 단말(10), 상품 정보 제공 서버(20), 또는 그 밖의 다른 통신 장치들로부터 전송된 데이터를 수신하여 제어부(106)에 전달하고, 제어부(106)에서 처리된 제어 신호나 데이터를 사용자 단말(10), 상품 정보 제공 서버(20), 또는 그 밖의 다른 통신 장치들로 전송하도록 구성된다. 이를 위해, 통신부(110)는 유·무선 통신을 수행하는 통신 모뎀을 포함할 수 있다.
저장부(104)는, 쇼핑 지원 시스템(100)의 동작에 필요한 데이터들을 저장하여 관리하도록 구성된다. 이를 위해, 저장부(104)는 ROM, RAM, EEPROM, 레지스터, 플래시 메모리, CD-ROM, 자기 테이프, 하드 디스크, 플로피디스크, 광 데이터 기록장치 등의 다양한 저장 매체들을 선택적으로 포함할 수 있다.
제어부(106)는, 쇼핑 지원 시스템(100)의 전반적인 동작을 제어하여 외국어 사용자의 오프라인 쇼핑을 지원하도록 구성된다. 이를 위해, 제어부(150)는 제어 로직을 실행하기 위한 범용 프로세서, ASIC(application-specific integrated circuit), 그 밖의 다른 칩셋, 논리 회로, 레지스터, 메모리 등의 하드웨어들을 선택적으로 포함할 수 있다. 한편, 제어부(106)는 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 즉, 제어부(106)의 제어 로직은 컴퓨터 프로그램으로 구성되어 제어부(106)의 자체 메모리나 저장부(104)에 저장되고, 저장된 컴퓨터 프로그램은 제어부(106)의 하드웨어를 통해 실행되도록 구성될 수 있다.
이러한 제어부(106)는, 기능적으로 구분되는 세부 구성요소들로서 외국어 사용자의 오프라인 쇼핑을 지원하는 구성요소들을 포함할 수 있다. 즉, 제어부(106)는 출력 언어 선택부(110), 영상 획득부(120), 상품 인식부(130), 상품 정보 획득부(140) 및 상품 정보 출력부(150)를 포함할 수 있다.
상기 출력 언어 선택부(110)는, 모바일 단말(10)의 입력부를 통해 사용자 명령을 입력받아 출력 언어를 선택한다. 이 경우, 출력 언어 선택부(110)는 사용자로 하여금 복수의 언어 중 하나의 언어를 선택하도록 하는 사용자 인터페이스를 상기 모바일 단말(10)의 화면을 통해 표시하고, 상기 사용자 인터페이스를 통해 사용자가 선택한 언어를 출력 언어로 선택하도록 구성될 수 있다.
상기 영상 획득부(120)는, 모바일 단말(10)의 카메라를 통해 촬영되거나 모바일 단말(10)에 저장된 디지털 영상을 획득하여 상품 인식부(130)로 전달한다.
상기 상품 인식부(130)는, 영상 인식 알고리즘을 이용하여 상기 획득된 영상에서 쇼핑 대상 상품을 인식한다. 이를 위해, 상품 인식부(130)는 핑거 이미지 검출부(132) 및 상품 이미지 검출부(134)를 포함할 수 있다.
상기 핑거 이미지 검출부(132)는, 상기 획득된 영상에서 특정 방향을 지시하는 사용자의 핑거(finger) 이미지를 검출한다. 이 경우, 핑거 이미지 검출부(132)는 영상의 특징점을 추출하는 알고리즘인 SIFT(Scale Invariant Feature Transform)를 기반으로 edge detecting, contouring 등을 수행하여 핑거 이미지를 검출할 수 있다. SIFT 알고리즘에 대해서는 『D.G. Lowe, "Distinctive image features from scale-invariant keypoints", Int. J. Comput. Vision 60 (2), 91-110, 2004.』을 참고할 수 있다.
상기 상품 이미지 검출부(134)는, 상기 획득된 영상에서 핑거 이미지가 지시하는 방향에 위치한 상품을 쇼핑 대상 상품으로 인식하여 상기 획득된 영상에서 쇼핑 대상 상품의 이미지를 검출한다. 예컨대, 상품 이미지 검출부(134)는 딥러닝의 CNN 기술, 예컨대 Mask R-CNN을 적용하여 상기 획득된 영상에서 상품 이미지 영역들을 인식하기 위한 Segmentation 기법을 수행할 수 있다. 상품 이미지 검출부(134)는 Segmentation 기법을 통해 인식되는 상품 이미지 영역들 중에서, 핑거 이미지가 지시하는 방향으로 가장 근접한 영역에 위치한 상품의 이미지를 쇼핑 대상 상품의 이미지로 검출할 수 있다.
한편, 상기 획득된 영상에 복수의 상품 이미지가 포함되어 있으나 사용자의 핑거 이미지가 포함되어 있지 않은 경우, 상품 이미지 검출부(134)는 상기 획득된 영상을 모바일 단말(10)의 화면에 표시하고, 상기 화면의 전체 영역 중 사용자의 터치가 발생한 지점에 표시된 상품을 쇼핑 대상 상품으로 인식하여 상기 획득된 영상에서 쇼핑 대상 상품의 이미지를 검출하도록 구성될 수 있다. 예컨대, 상품 이미지 검출부(134)는 Segmentation 기법을 통해 인식되는 상품 이미지 영역들 중, 사용자의 터치가 발생한 픽셀들을 포함한 영역에 위치한 상품의 이미지를 쇼핑 대상 상품의 이미지로 검출할 수 있다.
상기 상품 정보 획득부(140)는, 상품 정보 데이터베이스에서 상기 쇼핑 대상 상품의 상품 정보를 획득한다. 이 경우, 상품 정보 획득부(140)는 ResNet, SSD/YoLo 등의 딥러닝 알고리즘을 통해 상품 정보 제공 서버(20)에 구축되거나 쇼핑 지원 시스템(100)의 저장부(104)에 구축된 상품 정보 데이터베이스를 검색하여, 쇼핑 대상 상품의 이미지에 대응하는 상품 정보 또는 쇼핑 대상 상품의 이미지에서 추출된 특징 정보에 대응하는 상품 정보를 획득하도록 구성될 수 있다. 획득된 상품 정보에 쇼핑 대상 상품의 종류, 명칭, 가격, 제조사, 상품 상세 설명 등이 포함될 수 있다.
상기 상품 정보 출력부(150)는, 상술한 바와 같이 획득한 상품 정보를 모바일 단말(10)의 출력부를 통해 상기 선택된 출력 언어로 출력한다. 이를 위해, 상품 정보 출력부(150)는 텍스트 생성부(152) 및 상품 정보 발화부(154)를 포함할 수 있다.
이 경우, 텍스트 생성부(152)는, 상기 획득된 상품 정보를 상기 선택된 출력 언어로 기술한 텍스트를 생성한다.
상품 정보 발화부(154)는, TTS(Text to Speech) 알고리즘을 이용하여, 상기 생성된 텍스트에 따른 상품 정보를 모바일 단말(10)의 음향 출력 수단을 통해 상기 선택된 출력 언어로 발화할 수 있다.
실시예에 따라, 상품 정보 출력부(150)는 쇼핑 대상 상품의 상품 정보를, 모바일 단말(10)의 화면을 통해 텍스트로 표시함과 동시에, 모바일 단말(10)의 음향 출력 수단을 통해 음성으로 발화하도록 구성될 수 있다.
앞서 언급한 바와 같이, 상술한 쇼핑 지원 시스템(100)의 구성요소들은 그 일부 또는 전부가 모바일 단말(10)과 통합되거나, 상품 정보 제공 서버(20)와 통합될 수 있다. 예컨대, 상기 쇼핑 지원 시스템(100)의 출력 언어 선택부(110), 영상 획득부(120), 상품 정보 출력부(150) 등은 모바일 단말(10)과 통합되고, 상기 쇼핑 지원 시스템(100)의 상품 인식부(130), 상품 정보 획득부(140) 등은 상품 정보 제공 서버(20)와 통합될 수 있다.
도 3에는 본 발명의 일 실시예에 따른 외국어 사용자를 위한 쇼핑 지원 방법이 흐름도로 도시되어 있다. 도 3을 참조하여 쇼핑 지원 시스템(100)의 세부 동작들을 시계열적으로 설명한다.
도 3에 도시된 바와 같이, 상기 시스템(100)의 출력 언어 선택부(110)는, 모바일 단말(10)의 입력부를 통해 사용자 명령을 입력받아 출력 언어를 선택한다(S300, S310).
상기 시스템(100)의 즉, 출력 언어 선택부(110)는 사용자로 하여금 복수의 언어 중 하나의 언어를 선택하도록 하는 사용자 인터페이스를 상기 모바일 단말(10)의 화면을 통해 표시하고(S300), 상기 사용자 인터페이스를 통해 사용자가 선택한 언어를 출력 언어로 선택할 수 있다(S310).
도 4에는, 모바일 단말(10)에 표시된 출력 언어 선택용 사용자 인터페이스(U)의 일례가 도시되어 있다.
도 4에 도시된 바와 같이, 모바일 단말(10)의 화면(12)에 출력 언어 선택용 사용자 인터페이스(U)가 표시되면, 사용자는 자신이 사용하는 언어를 터치 또는 클릭하여 선택함으로써, 차후 해당 언어로 쇼핑 대상 상품에 대한 상품 정보를 제공받을 수 있다.
다시 도 3을 참조하면, 상기 시스템(100)의 영상 획득부(120)는, 모바일 단말(10)의 카메라를 통해 촬영되거나 모바일 단말(10)에 저장된 디지털 영상을 획득할 수 있다(S320).
그러면, 상기 시스템(100)의 상품 인식부(130)는, 영상 인식 알고리즘을 이용하여 상기 획득된 영상에서 쇼핑 대상 상품을 인식한다(S330 내지 S338).
즉, 상품 인식부(130)의 핑거 이미지 검출부(132)는, 상기 획득된 영상에서 특정 방향을 지시하는 사용자의 핑거 이미지를 검출한다(S330).
상품 인식부(130)의 상품 이미지 검출부(134)는, 상기 획득된 영상에서 핑거 이미지가 지시하는 방향에 위치한 상품을 쇼핑 대상 상품으로 인식하고(S332), 상기 획득된 영상에서 쇼핑 대상 상품의 이미지를 검출한다(S338).
한편, 상기 획득된 영상에 복수의 상품 이미지가 포함되어 있으나 사용자의 핑거 이미지가 포함되어 있지 않은 경우, 상품 이미지 검출부(134)는 상기 획득된 영상을 모바일 단말(10)의 화면에 표시하고(S334), 해당 화면의 전체 영역 중 사용자의 터치가 발생한 지점에 표시된 상품을 쇼핑 대상 상품으로 인식하여(S336), 상기 획득된 영상에서 쇼핑 대상 상품의 이미지를 검출한다(S338).
도 5에는 복수의 상품 이미지를 포함하는 영상(I1)의 일례가 도시되어 있다.
도 5에 도시된 바와 같이, 모바일 단말(10)을 통해 획득된 영상(I1)에 복수의 상품 이미지(P1, P2, P3)가 포함된 경우, 상기 시스템(100)은 상기 획득된 영상(I1)에서 특정 방향을 지시하는 사용자의 핑거 이미지(F)를 검출하고, 해당 핑거 이미지(F)가 지시하는 방향에 위치한 상품(P1)을 쇼핑 대상 상품으로 인식한다.
도 6에는 복수의 상품 이미지를 포함하는 영상(I2)의 다른 일례가 도시되어 있다.
도 6에 도시된 바와 같이, 모바일 단말(10)을 통해 획득된 영상(I2)에 복수의 상품 이미지(P1, P2, P3)가 포함되어 있으나 사용자의 핑거 이미지가 포함되어 있지 않은 경우, 상기 시스템(100)은 상기 획득된 영상(I2)을 모바일 단말(10)의 화면(12)에 표시하고, 해당 화면의 전체 영역 중 사용자의 터치가 발생한 지점(X)에 표시된 상품(P1)을 쇼핑 대상 상품으로 인식한다.
다시 도 3을 참조하면, 상기 시스템(100)의 상품 정보 획득부(140)는, 상품 정보 데이터베이스에서 상기 쇼핑 대상 상품의 상품 정보를 획득한다(S340). 이 경우, 상품 정보 획득부(140)는 ResNet, SSD/YoLo 등의 딥러닝 알고리즘을 통해 상품 정보 제공 서버(20)에 구축되거나 쇼핑 지원 시스템(100)의 저장부(104)에 구축된 상품 정보 데이터베이스를 검색하여, 쇼핑 대상 상품의 이미지에 대응하는 상품 정보 또는 쇼핑 대상 상품의 이미지에서 추출된 특징 정보에 대응하는 상품 정보를 획득할 수 있다.
그 다음, 상기 시스템(100)의 상품 정보 출력부(150)는, 상술한 바와 같이 획득한 상품 정보를 모바일 단말(10)의 출력부를 통해 상기 선택된 출력 언어로 출력한다(S350, S360).
즉, 상품 정보 출력부(150)의 텍스트 생성부(152)는, 상기 획득된 상품 정보를 상기 선택된 출력 언어로 기술한 텍스트를 생성한다(S350).
그 다음, 상품 정보 출력부(150)의 상품 정보 발화부(154)는, TTS(Text to Speech) 알고리즘을 이용하여, 상기 생성된 텍스트에 따른 상품 정보를 모바일 단말(10)의 음향 출력 수단을 통해 상기 선택된 출력 언어로 발화한다(S360). 실시예에 따라, 상품 정보 출력부(150)는 쇼핑 대상 상품의 상품 정보를, 모바일 단말(10)의 화면을 통해 텍스트로 표시함과 동시에, 모바일 단말(10)의 음향 출력 수단을 통해 음성으로 발화할 수 있다.
한편, 본 발명에 따른 실시예들은 컴퓨터 시스템과 이러한 컴퓨터 시스템을 구동하는 컴퓨터 프로그램으로 구현될 수 있다. 본 발명의 실시예들이 컴퓨터 프로그램으로 구현되는 경우, 본 발명의 구성요소들은 해당 컴퓨터 시스템을 통해 해당 동작이나 작업을 실행하는 프로그램 세그먼트들이다. 이러한 컴퓨터 프로그램 내지 프로그램 세그먼트들은 컴퓨터로 판독 가능한 다양한 기록매체에 저장될 수 있다. 컴퓨터로 판독 가능한 기록매체에는 컴퓨터 시스템이 읽어들일 수 있는 데이터를 기록하는 모든 종류의 매체가 포함된다. 예컨대, 컴퓨터로 판독 가능한 기록매체에는 ROM, RAM, EEPROM, 레지스터, 플래시 메모리, CD-ROM, 자기 테이프, 하드 디스크, 플로피디스크, 또는 광 데이터 기록장치 등이 포함될 수 있다. 또한, 이러한 기록매체는 다양한 네트워크로 연결된 컴퓨터 시스템들에 분산 배치되어 프로그램 코드들을 분산 방식으로 저장하거나 실행시킬 수 있다.
상술한 바와 같이, 본 발명에 따르면, 모바일 단말 통해 획득된 영상에서 쇼핑 대상 상품을 인식하고, 인식된 쇼핑 대상 상품에 관한 정보를 모바일 단말 사용자에 의해 선택된 언어로 발화함으로써, 서로 다른 언어를 사용하는 사용자들이 공통적으로 이용할 수 있는 오프라인 쇼핑 지원 서비스를 제공할 수 있다.
또한, 모바일 단말의 통해 획득된 영상에서 사용자의 핑거 이미지를 검출하여 상기 핑거 이미지가 지시하는 방향에 위치한 상품을 쇼핑 대상 상품으로 인식함으로써, 해당 영상에 복수의 상품 이미지가 포함된 경우에도 쇼핑 대상 상품을 정확히 인식할 수 있으며, 사용자에게 제공되는 상품 정보의 정확성과 신뢰성을 보장하고 사용자 편의성을 개선할 수 있다.
또한, 모바일 단말의 통해 획득된 영상에서 사용자의 핑거 이미지가 검출되지 않는 경우, 모바일 단말의 화면에 표시된 영상에서 사용자의 터치가 발생한 지점의 상품을 쇼핑 대상 상품으로 인식함으로써, 사용자 편의성을 더욱 개선할 수 있다.
나아가, 본 발명에 따른 실시예들은, 당해 기술 분야는 물론 관련 기술 분야에서 본 명세서에 언급된 내용 이외의 다른 여러 기술적 과제들을 해결할 수 있음은 물론이다.
지금까지 본 발명에 대해 구체적인 실시예들을 참고하여 설명하였다. 그러나 당업자라면 본 발명의 기술적 범위에서 다양한 변형 실시예들이 구현될 수 있음을 명확하게 이해할 수 있을 것이다. 그러므로 앞서 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 할 것이다. 즉, 본 발명의 진정한 기술적 사상의 범위는 청구범위에 나타나 있으며, 그와 균등범위 내에 있는 모든 차이점은 본 발명에 포함되는 것으로 해석되어야 할 것이다.
100 : 쇼핑 지원 시스템 110 : 출력 언어 선택부
120 : 영상 획득부 130 : 상품 인식부
132 : 핑거 이미지 검출부 134 : 상품 이미지 검출부
140 : 상품 정보 획득부 150 : 상품 정보 출력부
152 : 텍스트 생성부 154 : 상품 정보 발화부

Claims (13)

  1. 외국어 사용자의 쇼핑을 지원하는 시스템으로서,
    모바일 단말의 입력부를 통해 사용자 명령을 입력받아 출력 언어를 선택하는 출력 언어 선택부;
    상기 모바일 단말의 카메라를 통해 촬영되거나 상기 모바일 단말에 저장된 영상을 획득하는 영상 획득부;
    영상 인식 알고리즘을 이용하여 상기 획득된 영상에서 쇼핑 대상 상품을 인식하는 상품 인식부;
    상품 정보 데이터베이스에서 상기 쇼핑 대상 상품의 상품 정보를 획득하는 상품 정보 획득부; 및
    상기 획득된 상품 정보를 상기 모바일 단말의 출력부를 통해 상기 선택된 출력 언어로 출력하는 상품 정보 출력부를 포함하는 외국어 사용자를 위한 쇼핑 지원 시스템.
  2. 제1항에 있어서,
    상기 출력 언어 선택부는, 사용자로 하여금 복수의 언어 중 하나의 언어를 선택하도록 하는 사용자 인터페이스를 상기 모바일 단말의 화면을 통해 표시하고, 상기 사용자 인터페이스를 통해 사용자가 선택한 언어를 상기 출력 언어로 선택하도록 구성된 것을 특징으로 하는 외국어 사용자를 위한 쇼핑 지원 시스템.
  3. 제1항에 있어서,
    상기 상품 인식부는,
    상기 획득된 영상에서 특정 방향을 지시하는 사용자의 핑거 이미지를 검출하는 핑거 이미지 검출부; 및
    상기 획득된 영상에서 상기 검출된 핑거 이미지가 지시하는 방향에 위치한 상품을 상기 쇼핑 대상 상품으로 인식하여 상기 획득된 영상에서 상기 쇼핑 대상 상품의 이미지를 검출하는 상품 이미지 검출부를 포함하는 것을 특징으로 하는 외국어 사용자를 위한 쇼핑 지원 시스템.
  4. 제3항에 있어서,
    상기 상품 이미지 검출부는, 상기 획득된 영상에 복수의 상품 이미지가 포함되어 있으나 사용자의 핑거 이미지가 포함되어 있지 않은 경우, 상기 획득된 영상을 상기 모바일 단말의 화면에 표시하고, 상기 화면의 전체 영역 중 사용자의 터치가 발생한 지점에 표시된 상품을 상기 쇼핑 대상 상품으로 인식하여 상기 획득된 영상에서 상기 쇼핑 대상 상품의 이미지를 검출하도록 구성된 것을 특징으로 하는 외국어 사용자를 위한 쇼핑 지원 시스템.
  5. 제1항에 있어서,
    상기 상품 정보 획득부는, 상기 상품 정보 데이터베이스를 검색하여 상기 쇼핑 대상 상품의 이미지에 대응하는 상품 정보 또는 상기 쇼핑 대상 상품의 이미지에서 추출된 특징 정보에 대응하는 상품 정보를 획득하도록 구성된 것을 특징으로 하는 외국어 사용자를 위한 쇼핑 지원 시스템.
  6. 제1항에 있어서,
    상기 상품 정보 출력부는,
    상기 획득된 상품 정보를 상기 선택된 출력 언어로 기술한 텍스트를 생성하는 텍스트 생성부; 및
    TTS(Text to Speech) 알고리즘을 이용하여 상기 생성된 텍스트에 따른 상품 정보를 상기 모바일 단말의 음향 출력 수단을 통해 상기 선택된 출력 언어로 발화하는 상품 정보 발화부를 포함하는 것을 특징으로 하는 외국어 사용자를 위한 쇼핑 지원 시스템.
  7. 컴퓨터 시스템을 이용하여 외국어 사용자의 쇼핑을 지원하는 방법으로서,
    상기 시스템이 모바일 단말의 입력부를 통해 사용자 명령을 입력받아 출력 언어를 선택하는 (a) 단계;
    상기 시스템이 상기 모바일 단말의 카메라를 통해 촬영되거나 상기 모바일 단말에 저장된 영상을 획득하는 (b) 단계;
    상기 시스템이 영상 인식 알고리즘을 이용하여 상기 획득된 영상에서 쇼핑 대상 상품을 인식하는 (c) 단계;
    상기 시스템이 상품 정보 데이터베이스에서 상기 쇼핑 대상 상품의 상품 정보를 획득하는 (d) 단계; 및
    상기 시스템이 상기 획득된 상품 정보를 상기 모바일 단말의 출력부를 통해 상기 선택된 출력 언어로 출력하는 (e) 단계를 포함하는 외국어 사용자를 위한 쇼핑 지원 방법.
  8. 제7항에 있어서,
    상기 (a) 단계는,
    사용자로 하여금 복수의 언어 중 하나의 언어를 선택하도록 하는 사용자 인터페이스를 상기 모바일 단말의 화면을 통해 표시하는 (a1)단계; 및
    상기 사용자 인터페이스를 통해 사용자가 선택한 언어를 상기 출력 언어로 선택하는 (a2) 단계를 포함하는 것을 특징으로 하는 외국어 사용자를 위한 쇼핑 지원 방법.
  9. 제7항에 있어서,
    상기 (c) 단계는,
    상기 획득된 영상에서 특정 방향을 지시하는 사용자의 핑거 이미지를 검출하는 (c1) 단계; 및
    상기 획득된 영상에서 상기 검출된 핑거 이미지가 지시하는 방향에 위치한 상품을 상기 쇼핑 대상 상품으로 인식하여 상기 획득된 영상에서 상기 쇼핑 대상 상품의 이미지를 검출하는 (c2) 단계를 포함하는 것을 특징으로 하는 외국어 사용자를 위한 쇼핑 지원 방법.
  10. 제9항에 있어서,
    상기 (c) 단계는,
    상기 획득된 영상에 복수의 상품 이미지가 포함되어 있으나 사용자의 핑거 이미지가 포함되어 있지 않은 경우, 상기 획득된 영상을 상기 모바일 단말의 화면에 표시하는 (c3) 단계; 및
    상기 화면의 전체 영역 중 사용자의 터치가 발생한 지점에 위치한 상품을 상기 쇼핑 대상 상품으로 인식하여 상기 획득된 영상에서 상기 쇼핑 대상 상품의 이미지를 검출하는 (c4) 단계를 더 포함하는 것을 특징으로 하는 외국어 사용자를 위한 쇼핑 지원 방법.
  11. 제7항에 있어서,
    상기 (d) 단계는, 상기 상품 정보 데이터베이스를 검색하여 상기 쇼핑 대상 상품의 이미지에 대응하는 상품 정보 또는 상기 쇼핑 대상 상품의 이미지에서 추출된 특징 정보에 대응하는 상품 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 외국어 사용자를 위한 쇼핑 지원 방법.
  12. 제7항에 있어서,
    상기 (e) 단계는,
    상기 획득된 상품 정보를 상기 선택된 출력 언어로 기술한 텍스트를 생성하는 (e1) 단계; 및
    TTS(Text to Speech) 알고리즘을 이용하여 상기 생성된 텍스트에 따른 상품 정보를 상기 모바일 단말의 음향 출력 수단을 통해 상기 선택된 출력 언어로 발화하는 (e2) 단계를 포함하는 것을 특징으로 하는 외국어 사용자를 위한 쇼핑 지원 방법.
  13. 제9항 내지 제15항 중 어느 한 항에 따른 방법을 컴퓨터 시스템을 통해 실행하는 컴퓨터 프로그램으로서 기록매체에 기록된 컴퓨터 프로그램.
KR1020180138504A 2018-11-12 2018-11-12 외국어 사용자를 위한 쇼핑 지원 시스템 및 방법 KR20200054787A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180138504A KR20200054787A (ko) 2018-11-12 2018-11-12 외국어 사용자를 위한 쇼핑 지원 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180138504A KR20200054787A (ko) 2018-11-12 2018-11-12 외국어 사용자를 위한 쇼핑 지원 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20200054787A true KR20200054787A (ko) 2020-05-20

Family

ID=70919369

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180138504A KR20200054787A (ko) 2018-11-12 2018-11-12 외국어 사용자를 위한 쇼핑 지원 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20200054787A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967430A (zh) * 2020-08-28 2020-11-20 维沃移动通信有限公司 消息处理方法、装置、电子设备及可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967430A (zh) * 2020-08-28 2020-11-20 维沃移动通信有限公司 消息处理方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
US12019675B2 (en) Recognizing text in image data
US10614265B2 (en) Apparatus, method, and computer program product for correcting speech recognition error
KR102347398B1 (ko) 터치스크린 상에 표시되는 조치 가능한 콘텐츠
JP2019046468A (ja) インターフェイススマートインタラクティブ制御方法、装置、システム及びプログラム
TWI703492B (zh) 控制使用者介面之方法、程式及裝置
CN109189879A (zh) 电子书籍显示方法及装置
US20170154240A1 (en) Methods and systems for identifying an object in a video image
EP3751448B1 (en) Text detecting method, reading assisting device and medium
EP3015997A1 (en) Method and device for facilitating selection of blocks of information
CN111818385B (zh) 视频处理方法、视频处理装置及终端设备
CN109359582B (zh) 信息搜索方法、信息搜索装置及移动终端
US20130039535A1 (en) Method and apparatus for reducing complexity of a computer vision system and applying related computer vision applications
US10796187B1 (en) Detection of texts
CN114241471B (zh) 视频文本识别方法、装置、电子设备及可读存储介质
CN114223021A (zh) 电子装置及其处理手写输入的方法
CN116628150A (zh) 用于问答的方法、装置、设备和存储介质
KR20200054787A (ko) 외국어 사용자를 위한 쇼핑 지원 시스템 및 방법
US20220382968A1 (en) Text generation for report writing
CN110010131B (zh) 一种语音信息处理的方法和装置
CA3003002C (en) Systems and methods for using image searching with voice recognition commands
CN113360127A (zh) 音频播放方法以及电子设备
US20110161860A1 (en) Method and apparatus for separating events
JP2002230527A (ja) 立体情報取得装置および立体情報取得方法ならびに立体情報取得プログラムを記録したコンピュータリーダブル記録媒体
JP2019133559A (ja) データ入力装置、データ入力プログラム及びデータ入力システム
US20230109867A1 (en) Speech recognition apparatus, control method, and non-transitory storage medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application