KR20230155370A - 음성 메시지 및 물품 이미지 분석을 통한 대상물품 식별 시스템 - Google Patents

Abstract

본 발명은 음성 메시지 및 물품 이미지 분석을 통한 대상물품 식별 시스템에 관한 것이다.

Description

음성 메시지 및 물품 이미지 분석을 통한 대상물품 식별 시스템 {Target product identification system through voice message and product image analysis}

본 발명은 음성 메시지 및 물품 이미지 분석을 통한 대상물품 식별 시스템에 관한 것이다.

본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.

일반적으로 사용자가 특정 물품을 사용하다가 문제가 발생한 경우에, AS센터에 연락하기 위해서는 해당 제품에 붙어있는 특정상품의 브랜드를 확인하고, 해당 브랜드의 AS센터의 연락처에 직접 연락해야만 했다.

이에, 본 발명의 일 실시예에서는 해당 제품의 이미지를 촬영하는 것만으로도 AS 센터와의 상담 서비스를 제공할 수 있는 방법을 제안하고자 한다.

한국등록특허 제10-2347020호 (2021.12.30) 일본공개특허 제2002-251447호 (2002.09.06)

본 발명의 일 실시예는 물품의 이미지를 인식하여 해당 물품의 고객센터정보를 사용자에게 제공하는 것이다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상술한 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 전자 장치는 메모리(memory) 및 상기 메모리와 연결된 프로세서(processor)를 포함하고, 상기 프로세서는, 사용자단말로부터 대상물품을 촬영한 물품이미지를 수신하고, 객체인식모듈을 통하여 상기 물품이미지에서 상기 대상물품을 추출하고, 상기 대상물품에 대응하는 물품정보를 기반으로 고객센터정보를 추출하고, 상기 고객센터정보를 상기 사용자단말에게 송신할 수 있다.

이 때, 상기 프로세서는, 상기 객체인식모듈을 통하여 상기 물품이미지에서 상기 대상물품이 추출되지 않는 경우, 상기 대상물품에 대한 신규물품이미지의 요구에 대응하는 신규이미지요청정보 및 상기 대상물품의 음성설명에 대한 음성메시지의 요구에 대응하는 음성메시지요청정보를 포함하는 보완요청정보를 상기 사용자단말에게 송신할 수 있다.

이 때, 상기 프로세서는, 상기 보완요청정보에 대응한 사용자의 응답정보가 신규물품이미지인 경우, 상기 객체인식모듈을 통하여 상기 신규물품이미지에서 상기 대상물품을 추출하고, 상기 보완요청정보에 대응한 사용자의 응답정보가 음성메시지인 경우, 음성인식모듈을 통하여 상기 음성메시지에서 상기 대상물품을 추출할 수 있다.

이 때, 상기 프로세서는, 모든 사용자에 대한 전체 물품이미지 중에서 1장의 물품이미지로 대상물품이 추출되는 복수개의 단일객체인식이미지를 추출하고, 상기 복수개의 단일객체인식이미지에서 상기 대상물품이 점유하는 평균객체점유율을 산출하고, 상기 사용자단말을 사용하는 사용자로부터 수신된 물품이미지 중에서 대상물품이 추출되는 복수개의 사용자객체인식이미지를 추출하고, 상기 복수개의 사용자객체인식이미지에서 상기 대상물품이 점유하는 사용자객체점유율을 산출하고, 상기 사용자객체점유율이 상기 평균객체점유율을 초과하는 경우, 상기 사용자단말로부터 수신된 물품이미지를 대상으로 상기 대상물품을 추출하고, 상기 사용자객체점유율이 상기 평균객체점유율 이하인 경우, 상기 사용자단말로부터 수신된 물품이미지를 기설정된 분할지수를 기반으로 분할하여 복수개의 분할물품이미지를 생성하고, 상기 복수개의 분할물품이미지에 기설정된 보정배율을 적용하여 복수개의 보정분할물품이미지를 생성하고, 상기 보정분할물품이미지를 대상으로 상기 대상물품을 추출할 수 있다.

이 때, 상기 평균객체점유율은, 아래 수학식에 의하여 산출되되,

TAOS(Total Average Object Share)는 상기 평균객체점유율을 의미하고, TPI(Total Product Image)는 상기 단일객체인식이미지의 수를 의미하고, 1OOP(1 Object Occupied Pixel)_n은 n번째 상기 단일객체인식이미지에서 상기 대상물품이 점유하고 있는 픽셀의 수를 의미하고, 1TP(Total Pixel)_n은 n번째 상기 단일객체인식이미지의 전체 픽셀의 수를 의미할 수 있다.

이 때, 상기 사용자객체점유율은, 아래 수학식에 의하여 산출되되,

UAOS(User Average Object Share)는 상기 사용자객체점유율을 의미하고, UORI(User Object Recognition Image)는 상기 사용자객체인식이미지의 수를 의미하고, OOP_m은 m번째 상기 사용자객체인식이미지에서 상기 대상물품이 점유하고 있는 픽셀의 수를 의미하고, TP_m은 m번째 상기 사용자객체인식이미지의 전체 픽셀의 수를 의미할 수 있다.

이 때, 상기 보정배율은, 아래 수학식에 의하여 산출되되,

CM(Correction magnification)는 상기 보정배율일 수 있다.

이 때, 상기 프로세서는, 상기 사용자객체점유율이 상기 평균객체점유율 이하인 경우, 상기 사용자단말로부터 수신된 물품이미지에서 임의의 제1 모서리를 선택하고, 상기 제1 모서리를 기준으로 가로로 상기 분할지수만큼 분할하고, 상기 제1 모서리를 기준으로 세로로 상기 분할지수만큼 분할하여 복수개의 제1 분할물품이미지를 생성하고, 상기 제1 모서리와 대각하는 제2 모서리를 기준으로 가로로 상기 분할지수만큼 분할하고, 상기 제2 모서리를 기준으로 세로로 상기 분할지수만큼 분할하여 복수개의 제2 분할물품이미지를 생성하고, 상기 복수개의 제1 분할물품이미지 및 상기 복수개의 제2 분할물품이미지에 상기 보정배율을 적용하여 상기 복수개의 보정분할물품이미지를 생성할 수 있다.

이 때, 상기 분할지수는, 아래 수학식에 의하여 산출되되,

SI(Split Index)는 상기 분할지수를 의미하고, UAAI(User Average Additional Image)는 상기 사용자단말을 사용하는 사용자로부터 수신한 물품이미지 중에서 대상물품을 추출하기 위해 추가로 수신한 신규물품이미지의 수의 평균을 의미하고, Round는 소수점 k 자리에서 반올림하는 함수일 수 있다.

이와 같이 본 발명의 일 실시예에 따르면, 물품의 이미지를 인식하여 해당 물품의 고객센터정보를 사용자에게 제공할 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 특정한 바람직한 실시예들의 상기에서 설명한 바와 같은 또한 다른 측면들과, 특징들 및 이득들은 첨부 도면들과 함께 처리되는 하기의 설명으로부터 보다 명백하게 될 것이다.
도 1은 본 발명의 일 실시예에 따른 실물 객체 인식 기반 상담 서비스 제공 장치의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 전자 장치의 블록도이다.
도 3은 물품이미지에서 고객센터정보를 추출하는 과정을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 신규물품이미지 또는 음성메시지의 요청을 나타내는 도면이다.
도 5는 물품이미지에서 대상물품이 차지하는 픽셀의 점유부분을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따란 제1 및 제2 분할물품이미지의 생성을 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 실물 객체 인식 기반 상담 서비스 제공 방법의 흐름도이다.
상기 도면들을 통해, 유사 참조 번호들은 동일한 혹은 유사한 엘리먼트들과, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야만 한다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.

마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

본 발명의 실시예들을 구체적으로 설명함에 있어서, 특정 시스템의 예를 주된 대상으로 할 것이지만, 본 명세서에서 청구하고자 하는 주요한 요지는 유사한 기술적 배경을 가지는 여타의 통신 시스템 및 서비스에도 본 명세서에 개시된 범위를 크게 벗어나지 아니하는 범위에서 적용 가능하며, 이는 당해 기술분야에서 숙련된 기술적 지식을 가진 자의 판단으로 가능할 것이다.

도 1은 본 발명의 일 실시예에 따른 실물 객체 인식 기반 상담 서비스 제공 장치의 개념도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 실물 객체 인식 기반 상담 서비스 제공 장치(100)는 대상물품에 대한 고객센터정보를 확인하고자 하는 사용자의 사용자단말(200)로부터 대상물품의 물품이미지를 수신하고, 상기 물품이미지로부터 대상물품을 추출하여 상기 대상물품에 대응하는 고객센터정보를 추출하고 상기 사용자단말(200)로 제공할 수 있다. 한편 실물 객체 인식 기반 상담 서비스 제공 장치(100)는 본 발명에서 '전자 장치(100)'로 호칭될 수도 있다.

이 때, 사용자단말(200)은 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등을 포함할 수 있다.

도 2는 본 발명의 일 실시예에 따른 전자 장치(100)의 블록도이다.

일 실시예에 따른 전자 장치(100)는 프로세서(110) 및 메모리(120)를 포함한다. 프로세서(110)는 전술한 적어도 하나의 방법을 수행할 수 있다. 메모리(120)는 상술한 방법과 관련된 정보를 저장하거나 상술한 방법이 구현된 프로그램을 저장할 수 있다. 메모리(120)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다. 메모리(120)는 '데이터베이스', '저장부' 등으로 호칭될 수 있다.

프로세서(110)는 프로그램을 실행하고, 전자 장치(100)를 제어할 수 있다. 프로세서(110)에 의하여 실행되는 프로그램의 코드는 메모리(120)에 저장될 수 있다. 장치(100)는 입출력 장치(미도시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.

이 때, 상기 프로세서(110)는, 사용자단말(200)로부터 대상물품을 촬영한 물품이미지를 수신할 수 있다.

이 때, 상기 물품이미지는 상기 사용자단말(200)을 사용하는 사용자가 고객센터정보가 필요한 대상물품을 촬영한 이미지일 수 있다.

또한, 상기 프로세서(110)는 객체인식모듈을 통하여 상기 물품이미지에서 상기 대상물품을 추출할 수 있다. 이와 관련해서는 도 3을 참조하여 보다 상세하게 후술하도록 한다.

또한, 상기 프로세서(110)는 상기 대상물품에 대응하는 물품정보를 기반으로 고객센터정보를 추출할 수 있다.

이 때, 상기 물품정보는 상기 물품이미지에서 추출된 상기 대상물품의 제조사, 브랜드, 물품명, 색상, 크기, 제원 등 해당 대상물품에 대한 어떠한 정보도 포함할 수 있다.

또한, 상기 고객센터정보는 상기 대상물품의 제조사의 고객센터 전화번호, 고객센터 웹페이지, AS센터 위치정보 등 해당 물품에 대한 문의를 할 수 있는 모든 루트에 대한 정보를 포함할 수 있다.

또한 상기 프로세서(110)는 상기 고객센터정보를 상기 사용자단말(200)에게 송신할 수 있다. 이 때, 상기 고객센터정보가 고객센터 전화번호인 경우에는 바로 전화를 걸 수 있는 인터페이스를 함께 제공할 수도 있고, 상기 고객센터정보가 고객센터 웹페이지인 경우 해당 웹페이지에 접속할 수 있는 인터페이스도 함께 제공할 수 있다.

도 3은 물품이미지에서 고객센터정보를 추출하는 과정을 나타내는 도면이다.

도 3을 참조하면, 본 발명의 일 실시예에서는 사용자단말(200)로부터 수신한 물품이미지에서 대상정보는 추출한 후에 해당 대상정보에 대응하는 고객센터정보를 추출할 수 있다.

이 때, 객체인식모듈은 인공지능모듈로써, 상기 메모리에 저장되어 있는 물품의 이미지를 기반으로 물품이미지에 포함되어 있는 물품(대상물품)을 추출하고, 해당 물품이 어떠한 물품(물품정보)인지 학습될 수 있다.

이 때, 상기 인공지능모듈은 머신러닝의 한 분야인 딥러닝(Deep Learning) 기법을 이용하여, 채용정보 및 구직자정보를 입력으로 매칭점수를 출력하는 기계학습모델을 생성할 수 있다.

또한, 인공지능모듈은 딥러닝을 통하여 상기 함수에서의 복수 개의 입력들의 가중치(weight)를 학습을 통하여 산출할 수 있다. 또한, 이러한 학습을 위하여 활용되는 인공지능망 모델로는 RNN(Recurrent Neural Network), DNN(Deep Neural Network) 및 DRNN(Dynamic Recurrent Neural Network) 등 다양한 모델들을 활용할 수 있을 것이다.

여기서 RNN은 현재의 데이터와 과거의 데이터를 동시에 고려하는 딥러닝 기법으로서, 순환 신경망(RNN)은 인공 신경망을 구성하는 유닛 사이의 연결이 방향성 사이클(directed cycle)을 구성하는 신경망을 나타낸다. 나아가, 순환 신경망(RNN)을 구성할 수 있는 구조에는 다양한 방식이 사용될 수 있는데, 예컨대, 완전순환망(Fully Recurrent Network), 홉필드망(Hopfield Network), 엘만망(Elman Network), ESN(Echo state network), LSTM(Long short term memory network), 양방향(Bi-directional) RNN, CTRNN(Continuous-time RNN), 계층적 RNN, 2차 RNN 등이 대표적인 예이다. 또한, 순환 신경망(RNN)을 학습시키기 위한 방법으로서, 경사 하강법, Hessian Free Optimization, Global Optimization Method 등의 방식이 사용될 수 있다.

도 4는 본 발명의 일 실시예에 따른 신규물품이미지 또는 음성메시지의 요청을 나타내는 도면이다.

도 4를 참조하면, 사용자는 대상물품을 항상 인식하기 바람직한 구도로 물품이미지를 촬영하지 않을 수 있다. 도 4에 도시된 바와 같이 대상물품의 일부분만 촬영된 경우, 상기 객체인식모듈에서 대상물품의 물품정보를 추출하지 못할 수 있다. 따라서, 사용자가 송신한 물품이미지만으로 대상물품이 추출되지 않는 경우, 대상물품의 추가 이미지를 요구하거나 새로운 정보를 요구할 필요가 있다.

따라서, 상기 프로세서(110)는, 상기 객체인식모듈을 통하여 상기 물품이미지에서 상기 대상물품이 추출되지 않는 경우, 상기 대상물품에 대한 신규물품이미지의 요구에 대응하는 신규이미지요청정보 및 상기 대상물품의 음성설명에 대한 음성메시지의 요구에 대응하는 음성메시지요청정보를 포함하는 보완요청정보를 상기 사용자단말(200)에게 송신할 수 있다.

이 때, 신규이미지요청정보는 해당 대상물품에 대한 새로운 사진을 찍어달라는 요청정보일 수 있으며, 어떠한 구도로 어떠한 크기로 찍어야 하는지에 대한 안내도 함께 포함할 수 있다.

이 때, 상기 음성메시지요청정보는 해당 대상물품에 대하여 사용자가 알고 있는 브랜드명, 상품명, 제조사 등에 관한 정보를 음성으로 설명해달라는 요청정보일 수 있다.

또한, 상기 보완요청정보는 상기 신규이미지요청정보 및 상기 음성메시지요청정보를 함께 상기 사용자단말(200)에게 송신하되, 사용자가 임의로 선택하여 신규물품이미지 또는 음성메시지를 선택하여 송신할 수 있도록 할 수 있다.

이 때, 상기 프로세서(110)는 상기 보완요청정보에 대응한 사용자의 응답정보가 신규물품이미지인 경우, 상기 객체인식모듈을 통하여 상기 신규물품이미지에서 상기 대상물품을 추출하고, 상기 보완요청정보에 대응한 사용자의 응답정보가 음성메시지인 경우, 음성인식모듈을 통하여 상기 음성메시지에서 상기 대상물품을 추출할 수 있다.

또한, 상기 프로세서(110)는 상기 보완요청정보에 의해서도 대상물품을 추출하지 못한 경우, 다시 상기 보완요청정보를 상기 사용자단말(200)에게 송신할 수 있다.

도 5는 물품이미지에서 대상물품이 차지하는 픽셀의 점유부분을 나타내는 도면이다.

물품이미지에서 대상물품이 너무 작게 찍혀있는 경우에는 해당 대상물품을 추출하기 어려울 수 있다. 따라서, 대상물품이 추출될 수 있는 최소한의 크기에 대한 기준을 사전에 준비해야 하고, 대상물품을 작게 촬영하는 사용자의 경우, 추가 이미지처리를 통하여 대상물품이 원활하게 추출될 수 있게 하여야 한다.

다만, 현재 물품이미지는 아직 대상물품을 추출하기 전이므로, 사용자의 과거 이력을 고려하여, 해당 사용자가 송신한 물품이미지에 대하여 추가 이미지처리를 할지 정하는 것이 바람직하다.

이를 위하여 상기 프로세서(110)는, 모든 사용자에 대한 전체 물품이미지 중에서 1장의 물품이미지로 대상물품이 추출되는 복수개의 단일객체인식이미지를 추출할 수 있다.

상기 단일객체인식이미지는 추가 신규물품이미지 없이 단 한번에 대상물품을 추출한 물품이미지를 의미하는 것으로써, 대상물품이 정확하게 촬영된 샘플로 볼 수 있다.

또한, 상기 프로세서(110)는 상기 복수개의 단일객체인식이미지에서 상기 대상물품이 점유하는 평균객체점유율을 산출할 수 있다.

이 때, 상기 평균객체점유율은, 아래 수학식 1에 의하여 산출될 수 있다.

[수학식 1]

이 때, TAOS(Total Average Object Share)는 상기 평균객체점유율을 의미하고, TPI(Total Product Image)는 상기 단일객체인식이미지의 수를 의미하고, 1OOP(1 Object Occupied Pixel)_n은 n번째 상기 단일객체인식이미지에서 상기 대상물품이 점유하고 있는 픽셀의 수를 의미하고, 1TP(Total Pixel)_n은 n번째 상기 단일객체인식이미지의 전체 픽셀의 수를 의미할 수 있다.

또한, 상기 프로세서(110)는, 상기 사용자단말(200)을 사용하는 사용자로부터 수신된 물품이미지 중에서 대상물품이 추출되는 복수개의 사용자객체인식이미지를 추출할 수 있다.

이 때, 상기 사용자객체인식이미지는 사용자의 물품이미지 중에서 첫번째 또는 추가에 상관없이 대상물품이 추출되는 모든 이미지를 포함할 수 있는데, 이는 사용자의 평소 촬영습관을 분석하여 반영하기 위함이다.

또한, 상기 프로세서(110)는 상기 복수개의 사용자객체인식이미지에서 상기 대상물품이 점유하는 사용자객체점유율을 산출할 수 있다.

이 때, 상기 사용자객체점유율은, 아래 수학식 2에 의하여 산출될 수 있다.

[수학식 2]

이 때, UAOS(User Average Object Share)는 상기 사용자객체점유율을 의미하고, UORI(User Object Recognition Image)는 상기 사용자객체인식이미지의 수를 의미하고, OOP_m은 m번째 상기 사용자객체인식이미지에서 상기 대상물품이 점유하고 있는 픽셀의 수를 의미하고, TP_m은 m번째 상기 사용자객체인식이미지의 전체 픽셀의 수를 의미할 수 있다.

또한, 상기 프로세서(110)는 상기 사용자객체점유율이 상기 평균객체점유율을 초과하는 경우, 상기 사용자단말(200)로부터 수신된 물품이미지를 대상으로 상기 대상물품을 추출할 수 있다. 이는 사용자단말(200)로부터 수신한 물품이미지에 추가 이미지처리가 필요없기 때문이다.

또한, 상기 프로세서(110)는 상기 사용자객체점유율이 상기 평균객체점유율 이하인 경우, 상기 사용자단말(200)로부터 수신된 물품이미지를 기설정된 분할지수를 기반으로 분할하여 복수개의 분할물품이미지를 생성하고, 상기 복수개의 분할물품이미지에 기설정된 보정배율을 적용하여 복수개의 보정분할물품이미지를 생성하고, 상기 보정분할물품이미지를 대상으로 상기 대상물품을 추출할 수 있다.

사용자단말(200)로부터 수신한 물품이미지에 대상물품이 매우 작게 찍혀있는경우, 해당 물품이미지를 확대하여 대상물품을 추출하는 것이 보다 정확하게 추출될 것이다.

그러나, 전체 이미지를 한 번에 확대하고 분석하는 것은 리소스 관리 측면에서 비효율적일 수 있다.

따라서, 해당 물품이미지를 분할하고, 분할된 분할물품이미지를 확대한 후에 대상물품을 추출하는 것이 리소스 관리 측면에서 효율적일 수 있다.

이 때, 상기 보정배율은, 아래 수학식 3에 의하여 산출될 수 있다.

[수학식 3]

이 때, CM(Correction magnification)는 상기 보정배율일 수 있다.

도 6은 본 발명의 일 실시예에 따란 제1 및 제2 분할물품이미지의 생성을 나타내는 도면이다.

상기 물품이미지를 분할할 때, 무작위로 분할하는 것보다 대상물품을 추출할 수 있는 최소한의 크기와 평소 사용자가 대상물품 검출을 위하여 얼마나 신규물품이미지를 추가하는지를 반영하여 분할하는 것이 보다 효율적일 수 있다.

이를 위하여, 상기 프로세서(110)는, 상기 사용자객체점유율이 상기 평균객체점유율 이하인 경우, 상기 사용자단말(200)로부터 수신된 물품이미지에서 임의의 제1 모서리를 선택하고, 상기 제1 모서리를 기준으로 가로로 상기 분할지수만큼 분할하고, 상기 제1 모서리를 기준으로 세로로 상기 분할지수만큼 분할하여 복수개의 제1 분할물품이미지를 생성할 수 있다.

이 때, 상기 제1 모서리는 랜덤으로 선택되거나, 관리자가 임의로 어느 한 지점(좌측상단)으로 선택한 것일 수 있다.

다만, 만약에 대상물품이 우측 하단에 위치한 경우, 제1 모서리만으로 분할하는 것으로는 대상물품이 원활하게 추출되지 못할 수 있기 때문에 상기 제1 모서리와 대각하는 제2 모서리를 기준으로 다시한번 분할하여 대상물품 추출의 정확성을 보다 향상시킬 수 있다.

이 때, 상기 프로세서(110)는 상기 제1 모서리와 대각하는 제2 모서리를 기준으로 가로로 상기 분할지수만큼 분할하고, 상기 제2 모서리를 기준으로 세로로 상기 분할지수만큼 분할하여 복수개의 제2 분할물품이미지를 생성하고, 상기 복수개의 제1 분할물품이미지 및 상기 복수개의 제2 분할물품이미지에 상기 보정배율을 적용하여 상기 복수개의 보정분할물품이미지를 생성할 수 있다.

이 때, 예를 들어, 도 6에 도시된 바와 같이 분할지수가 2.5인 경우, 상기 물품이미지의 제1 모서리를 기준으로 가로를 2.5 등분으로 분할할 수 있고, 세로로 2.5 등분으로 분할할 수 있다.

이 때, 상기 분할지수는, 아래 수학식 4에 의하여 산출될 수 있다.

이 때, SI(Split Index)는 상기 분할지수를 의미하고, UAAI(User Average Additional Image)는 상기 사용자단말(200)을 사용하는 사용자로부터 수신한 물품이미지 중에서 대상물품을 추출하기 위해 추가로 수신한 신규물품이미지의 수의 평균을 의미하고, Round(,k)는 소수점 k 자리에서 반올림하는 함수일 수 있다.

신규물품이미지가 많은 경우, 새로운 이미지를 추가로 분석하는 것보다는 현재 이미지를 보다 잘게 분할하게 꼼꼼하게 대상물품을 추출하는 것이 리소스 관리상 바람직하기 때문에, 사용자의 추가 신규물품이미지의 수의 평균이 높은경우, 분할지수를 높게 설정하는 것이 바람직하다.

이 때, Round는 소수점 k 자리에서 반올림하는 함수로써, k가 3인 경우, 소수점 4자리수에서 반올림하여 소수점 3자리까지 출력하는 함수를 의미할 수 있다.

이 때, n, m 및 k는 정수일 수 있다.

도 7은 본 발명의 일 실시예에 따른 실물 객체 인식 기반 상담 서비스 제공 방법의 흐름도이다.

도 7을 참조하면, 본 발명의 일 실시예에 따른 실물 객체 인식 기반 상담 서비스 제공 방법은 사용자단말(200)로부터 대상물품을 촬영한 물품이미지를 수신할 수 있다(S101).

또한, 본 발명의 일 실시예에 따른 실물 객체 인식 기반 상담 서비스 제공 방법 객체인식모듈을 통하여 상기 물품이미지에서 상기 대상물품을 추출할 수 있다(S103).

또한, 본 발명의 일 실시예에 따른 실물 객체 인식 기반 상담 서비스 제공 방법은 상기 대상물품에 대응하는 물품정보를 기반으로 고객센터정보를 추출할 수 있다(S105).

또한, 본 발명의 일 실시예에 따른 실물 객체 인식 기반 상담 서비스 제공 방법은 상기 고객센터정보를 상기 사용자단말(200)에게 송신할 수 있다(S107).

또한, 본 발명의 일 실시예에 따른 실물 객체 인식 기반 상담 서비스 제공 방법은 도 1 내지 도 6에 개시된 실물 객체 인식 기반 상담 서비스 제공 장치(100)와 동일하게 구성될 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (1)

1. 전자 장치에 있어서,
   메모리(memory); 및 상기 메모리와 연결된 프로세서(processor); 를 포함하고,
   상기 프로세서는:
   사용자단말로부터 대상물품을 촬영한 물품이미지를 수신하고,
   객체인식모듈을 통하여 상기 물품이미지에서 상기 대상물품을 추출하고,
   상기 대상물품에 대응하는 물품정보를 기반으로 고객센터정보를 추출하고,
   상기 고객센터정보를 상기 사용자단말에게 송신하고,
   상기 프로세서는:
   상기 객체인식모듈을 통하여 상기 물품이미지에서 상기 대상물품이 추출되지 않는 경우,
   상기 대상물품에 대한 신규물품이미지의 요구에 대응하는 신규이미지요청정보; 및
   상기 대상물품의 음성설명에 대한 음성메시지의 요구에 대응하는 음성메시지요청정보; 를 포함하는 보완요청정보를 상기 사용자단말에게 송신하고,
   상기 보완요청정보에 대응한 사용자의 응답정보가 신규물품이미지인 경우, 상기 객체인식모듈을 통하여 상기 신규물품이미지에서 상기 대상물품을 추출하고,
   상기 보완요청정보에 대응한 사용자의 응답정보가 음성메시지인 경우, 음성인식모듈을 통하여 상기 음성메시지에서 상기 대상물품을 추출하고,
   상기 프로세서는:
   모든 사용자에 대한 전체 물품이미지 중에서 1장의 물품이미지로 대상물품이 추출되는 복수개의 단일객체인식이미지를 추출하고,
   상기 복수개의 단일객체인식이미지에서 상기 대상물품이 점유하는 평균객체점유율을 산출하고,
   상기 사용자단말을 사용하는 사용자로부터 수신된 물품이미지 중에서 대상물품이 추출되는 복수개의 사용자객체인식이미지를 추출하고,
   상기 복수개의 사용자객체인식이미지에서 상기 대상물품이 점유하는 사용자객체점유율을 산출하고,
   상기 사용자객체점유율이 상기 평균객체점유율을 초과하는 경우, 상기 사용자단말로부터 수신된 물품이미지를 대상으로 상기 대상물품을 추출하고,
   상기 사용자객체점유율이 상기 평균객체점유율 이하인 경우, 상기 사용자단말로부터 수신된 물품이미지를 기설정된 분할지수를 기반으로 분할하여 복수개의 분할물품이미지를 생성하고, 상기 복수개의 분할물품이미지에 기설정된 보정배율을 적용하여 복수개의 보정분할물품이미지를 생성하고, 상기 보정분할물품이미지를 대상으로 상기 대상물품을 추출하는 것을 특징으로 하는, 전자 장치.