KR20210104360A - 이미지 인식 기반 인공지능 서비스 제공방법 및 시스템 - Google Patents

이미지 인식 기반 인공지능 서비스 제공방법 및 시스템 Download PDF

Info

Publication number
KR20210104360A
KR20210104360A KR1020200018997A KR20200018997A KR20210104360A KR 20210104360 A KR20210104360 A KR 20210104360A KR 1020200018997 A KR1020200018997 A KR 1020200018997A KR 20200018997 A KR20200018997 A KR 20200018997A KR 20210104360 A KR20210104360 A KR 20210104360A
Authority
KR
South Korea
Prior art keywords
image
image recognition
information
artificial intelligence
service
Prior art date
Application number
KR1020200018997A
Other languages
English (en)
Inventor
이제철
Original Assignee
엔에이치엔 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔에이치엔 주식회사 filed Critical 엔에이치엔 주식회사
Priority to KR1020200018997A priority Critical patent/KR20210104360A/ko
Publication of KR20210104360A publication Critical patent/KR20210104360A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G06K9/00711—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Computing Systems (AREA)
  • Child & Adolescent Psychology (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예에 따른 이미지 인식 기반 인공지능 서비스 제공방법 및 시스템은, 컴퓨팅 디바이스의 프로세서에 의해 실행되는 인공지능 어플리케이션이 카메라 디바이스에서 촬영된 실시간 영상에 대한 이미지 인식을 기반으로 인공지능 서비스를 제공하는 방법으로서, 상기 카메라 디바이스의 영상에 대한 영상 세팅(setting) 프로세스를 실행하는 단계; 상기 영상 세팅 프로세스에 기반하여 상기 카메라 디바이스로부터 촬영된 실시간 영상의 이미지 인식영역을 설정하는 단계; 상기 설정된 이미지 인식영역에 대한 제 1 이미지 분석을 기반으로, 상기 이미지 인식영역에 포함되어야 하는 객체를 지정한 정보인 객체 정보를 획득하는 단계; 상기 획득된 객체 정보와 상기 설정된 이미지 인식영역에 대한 제 2 이미지 분석을 기반으로, 상기 설정된 이미지 인식영역으로부터 도출하고자 하는 데이터인 목적 데이터를 획득하는 단계; 및 상기 객체 정보 및 상기 목적 데이터에 기반하여 인공지능 서비스 정보를 생성하고 제공하는 단계를 포함한다.

Description

이미지 인식 기반 인공지능 서비스 제공방법 및 시스템{METHOD AND SYSTEM FOR PROVIDING IMAGE RECOGNITION BASED ARTIFICIAL INTELLIGENCE SERVICE}
본 발명은 이미지 인식 기반의 인공지능 서비스 제공방법 및 시스템에 관한 것이다. 보다 상세하게는, 카메라 시스템 기반의 이미지 딥러닝을 통하여 인공지능 서비스를 제공하는 방법 및 시스템에 관한 것이다.
딥러닝 뉴럴 네트워크(Deep-learning neural network, 인공신경망)는 머신 러닝(Machin Learning, 기계학습)의 한 분야이다.
여기서, 머신 러닝이란, 훈련 데이터(Training Data)를 통해 학습된 속성을 기반으로 예측 및/또는 분류하는 알고리즘을 연구하는 분야를 일컫는다.
종래에는, 이러한 뉴럴 네트워크의 정확성을 높이기 위한 학자들의 연구가 많이 이루어졌으며, 위와 같은 뉴럴 네트워크에 빅데이터를 결합한 것을 우리는 딥러닝(Deep-Learning)이라고 한다.
자세히, 딥러닝이란, 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는　머신 러닝 알고리즘의 집합으로 정의된다.
즉, 딥러닝은, 컴퓨터가 인간을 대체해 방대한 양의 데이터를 분석하고, 사물이나 데이터를 군집화하거나 분류할 수 있다.
한편, 현대 사회에서는 이러한 딥러닝을 포함하는 다양한 정보통신기술(ICT, Information&Communications Technologies)의 발전에 힘입어 인공지능(artificial intelligence, AI) 서비스에 대한 관심이 증대하고 있다.
자세히, 인공지능(AI)이란, 기계가 경험을 통해 학습하고 새로운 입력 내용에 따라 기존 지식을 조정하며 사람과 같은 방식으로 과제를 수행할 수 있도록 지원하는 기술을 말한다.
각종 자동 자원관리 시스템, 체스를 두는 컴퓨터에서부터 직접 운전을 하는 자동차에 이르기까지 오늘날 대부분의 인공지능(AI) 사례들은,　딥러닝과　자연어 처리에 크게 의존하고 있다.
이러한 인공지능은, 위와 같은 기술들을 통해 대량의 데이터를 처리할 수 있고, 처리된 데이터에서 패턴을 인식함으로써 특정한 과제를 수행하도록 컴퓨터를 훈련할 수 있어, 이에 기반한 각종 신기술들이 개발되고 있다.
KR 10-1890989 B1
본 발명은, 카메라 시스템 기반의 이미지 딥러닝(Image Deep-learning)을 통하여 다양한 목적의 인공지능 서비스를 제공하는 이미지 인식 기반 인공지능 서비스 제공방법 및 시스템을 구현하는데 그 목적이 있다.
다만, 본 발명 및 본 발명의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 발명의 실시예에 따른 이미지 인식 기반 인공지능 서비스 제공방법 및 시스템은, 컴퓨팅 디바이스의 프로세서에 의해 실행되는 인공지능 어플리케이션이 카메라 디바이스에서 촬영된 실시간 영상에 대한 이미지 인식을 기반으로 인공지능 서비스를 제공하는 방법으로서, 상기 카메라 디바이스의 영상에 대한 영상 세팅(setting) 프로세스를 실행하는 단계; 상기 영상 세팅 프로세스에 기반하여 상기 카메라 디바이스로부터 촬영된 실시간 영상의 이미지 인식영역을 설정하는 단계; 상기 설정된 이미지 인식영역에 대한 제 1 이미지 분석을 기반으로, 상기 이미지 인식영역에 포함되어야 하는 객체를 지정한 정보인 객체 정보를 획득하는 단계; 상기 획득된 객체 정보와 상기 설정된 이미지 인식영역에 대한 제 2 이미지 분석을 기반으로, 상기 설정된 이미지 인식영역으로부터 도출하고자 하는 데이터인 목적 데이터를 획득하는 단계; 및 상기 객체 정보 및 상기 목적 데이터에 기반하여 인공지능 서비스 정보를 생성하고 제공하는 단계를 포함한다.
이때, 상기 영상 세팅 프로세스를 실행하는 단계는, 상기 카메라 디바이스의 영상을 예시적으로 세팅한 정보인 세팅 예시정보를 표시하는 단계를 포함한다.
또한, 상기 세팅 예시정보는, 상기 카메라 디바이스의 영상에 예시적으로 설정된 적어도 하나 이상의 상기 이미지 인식영역, 상기 이미지 인식영역에 대한 상기 이미지 인식을 통하여 제공하는 상기 목적 데이터 및 상기 이미지 인식영역이 포함하는 상기 객체 정보 중 어느 둘 이상에 대한 정보를 포함한다.
또한, 상기 이미지 인식영역을 설정하는 단계는, 상기 카메라 디바이스의 상기 실시간 영상을 표시하는 단계와, 상기 실시간 영상에서 적어도 하나 이상의 상기 이미지 인식영역을 설정하는 이미지 인식영역 설정 인터페이스를 제공하는 단계를 더 포함한다.
또한, 상기 이미지 인식영역 설정 인터페이스에 기초하여 설정된 상기 이미지 인식영역을 기반으로, 이미지 딥러닝 뉴럴 네트워크에 기반한 상기 제 1 이미지 분석 및 상기 제 2 이미지 분석을 수행하는 단계를 포함한다.
또한, 상기 이미지 인식영역 설정 인터페이스를 제공하는 단계는, 상기 실시간 영상에 대한 적어도 하나 이상의 상기 이미지 인식영역, 상기 이미지 인식영역 각각에 대한 상기 목적 데이터 및 상기 객체 정보를 설정하는 인터페이스를 제공하는 단계를 포함한다.
또한, 상기 이미지 인식영역은, 특정 목적 데이터를 획득하거나, 특정 객체를 위치시키는 일 영역을 상기 카메라 디바이스의 영상을 기반으로 설정한 정보이다.
또한, 상기 설정된 이미지 인식영역에 대한 인식정보를 표시하는 단계를 더 포함하고, 상기 인식정보는, 상기 이미지 인식영역 각각으로부터 상기 이미지 인식을 통해 획득된 상기 목적 데이터를 나타내는 정보이다.
또한, 상기 인식정보에 대한 편집을 수행하는 수정 인터페이스를 제공하는 단계를 더 포함하고, 상기 수정 인터페이스는, 상기 이미지 인식영역에서 상기 인식정보가 미감지된 경우 별도의 방식으로 상기 인식정보를 입력 또는 획득할 수 있는 인터페이스, 또는 상기 이미지 인식영역의 상기 인식정보에 대한 변경을 진행하는 인터페이스를 포함한다.
또한, 제 8 항에 있어서, 상기 인공지능 서비스 정보를 제공하는 단계는, 상기 인식정보를 상기 인공지능 서비스 정보로 제공하는 단계 및 상기 인식정보를 가공하여 생성한 가공정보를 상기 인공지능 서비스 정보로 제공하는 단계 중 적어도 하나 이상의 단계를 포함한다.
또한, 상기 인공지능 서비스는 유아 영양관리 서비스를 포함하고, 상기 인공지능 서비스 정보는, 상기 실시간 영상 내에서 조리된 유아식의 총 칼로리 및 영양소 정보를 포함한다.
본 발명의 실시예에 따른 이미지 인식 기반 인공지능 서비스 제공방법 및 시스템은, 카메라 시스템 기반의 이미지 딥러닝을 통하여 다양한 목적의 인공지능 서비스를 제공함으로써, 서비스의 목적이나 분야의 제약없이 이미지 인식에 기반한 다양한 인공지능 서비스에 접목되어 해당 서비스 맞춤형 정보를 제공할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 이미지 인식 기반 인공지능 서비스 제공방법 및 시스템은, 이미지 인식을 기반으로 특정 인공지능 서비스를 위한 데이터를 도출 및 가공함으로써, 특정 인공지능 서비스에 대하여 산출된 데이터를 다양한 형식으로 제공할 수 있는 효과가 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다.
도 1은 본 발명의 실시예에 따른 이미지 인식 기반 인공지능 서비스 시스템의 개념도이다.
도 2는 본 발명의 실시예에 따른 웨어러블 타입의 컴퓨팅 디바이스의 내부 블록도이다.
도 3은 본 발명의 실시예에 따른 모바일 타입의 컴퓨팅 디바이스의 내부 블록도이다.
도 4는 본 발명의 실시예에 따른 데스크 탑 타입의 컴퓨팅 디바이스의 내부 블록도이다.
도 5는 본 발명의 실시예에 따른 이미지 인식 기반 인공지능 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시예에 따른 세팅 예시정보를 나타내는 모습의 일례이다.
도 7은 본 발명의 실시예에 따른 이미지 인식영역 설정 인터페이스에 기반하여 이미지 인식영역을 설정하는 모습의 일례이다.
도 8은 본 발명의 실시예에 따른 이미지 인식영역 설정 인터페이스를 기초로 이미지 인식영역에 대한 목적 데이터 및/또는 객체 정보를 설정하는 모습의 일례이다.
도 9는 본 발명의 실시예에 따른 이미지 인식영역별 인식정보를 표시하고 수정 인터페이스를 제공하는 모습의 일례이다.
도 10 내지 12는 본 발명의 실시예에 따른 수정 인터페이스를 기반으로 각 이미지 인식영역의 인식정보를 업데이트하는 방법을 설명하기 위한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 이미지 인식 기반 인공지능 서비스 시스템의 개념도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 이미지 인식 기반 인공지능 서비스 시스템은, 카메라 시스템, 컴퓨팅 디바이스, 서버 시스템 및 네트워크를 포함할 수 있다.
실시예에서, 카메라 시스템, 컴퓨팅 디바이스, 서버 시스템 및 네트워크는, 상호 연동하여 이미지 인식 기반의 인공지능 어플리케이션을 제공할 수 있고, 제공된 인공지능 어플리케이션을 기반으로 이미지 딥러닝을 수행하여 다양한 목적의 인공지능 서비스를 구현할 수 있다.
여기서, 실시예에 따른 인공지능 어플리케이션(AI application)은, 복수의 이미지 인식 기반 인공지능 서비스를 제공할 수 있다.
예를 들면, 인공지능 어플리케이션은, 냉장고 재고관리 서비스(예컨대, 식품 유통기한, 잔여량, 필요보충량 등에 대한 관리 서비스), 화장품 재고관리 서비스(예컨대, 화장품 유통기한, 잔여량, 필요보충량 등에 대한 관리 서비스) 및/또는 유아 영양관리 서비스(예컨대, 제조되는 유아식에 대한 영양소 관리 서비스) 등을 포함하는 인공지능 서비스를 제공할 수 있다.
또한, 인공지능 어플리케이션은, 복수의 인공지능 서비스 중에서 선택된 특정 인공지능 서비스를 구현하기 위한 데이터들을 이미지 인식에 기반하여 생성해 제공할 수 있다.
예를 들면, 인공지능 어플리케이션은, 복수의 인공지능 서비스 중에서 사용자 입력에 의해 유아 영양관리 서비스가 선택된 경우, 선택된 유아 영양관리 서비스를 구현하기 위하여, 유아에게 제공되기 위해 조리되는 유아식의 총 칼로리 및 영양소 정보, 영양소 균형 정보 및/또는 칼로리에 따른 섭취 가능 수 정보(예컨대, 3회분 또는 3인분 등) 등을 이미지 인식을 기초로 생성해 제공할 수 있다.
한편, 도 1의 카메라 시스템, 컴퓨팅 디바이스 및 서버 시스템은, 네트워크(Network)를 통하여 연결될 수 있다.
여기서, 네트워크는, 카메라 시스템, 컴퓨팅 디바이스 및 서버 시스템 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
- 카메라 시스템(Camera system, 400)
본 발명의 실시예에서 카메라 시스템은, 이미지 인식 기반의 인공지능 서비스 제공을 위한 영상 데이터를 획득하여 제공할 수 있다.
자세히, 카메라 시스템은, 웹 카메라 디바이스를 기반으로 인공지능 서비스를 위한 영상을 촬영할 수 있으며, 촬영된 영상을 네트워크 박스에 기반하여 컴퓨팅 디바이스(100) 및/또는 서버 시스템(500)으로 송신할 수 있다. 이때, 카메라 시스템으로부터 영상을 획득한 컴퓨팅 디바이스(100)는, 획득된 영상을 기반으로 특정 인공지능 서비스를 위한 이미지 딥러닝을 수행하여, 이미지 인식에 기반한 인공지능 서비스를 구현할 수 있다.
보다 상세히, 실시예에 따른 카메라 시스템은, 웹 카메라 디바이스 및 네트워크 박스를 포함할 수 있으며, 카메라 시스템의 데이터 처리를 수행하기 위한 프로세서들 및 영상 획득을 위한 명령어들을 저장하는 메모리들을 포함할 수 있다.
여기서, 카메라 시스템의 웹 카메라 디바이스는, 웹 카메라(Web camera)의 형태로 구현되어 피사체의 영상을 촬영하는 장치일 수 있다.
이러한 웹 카메라 디바이스는, LAN(Local Area Network) 케이블, USB 케이블, 기타 통신 미디어 및/또는 네트워크를 통해 컴퓨팅 디바이스(100)와 촬영된 영상을 송수신할 수 있다.
자세히, 웹 카메라 디바이스는, 피사체를 촬영하는 카메라 장치 및 상기 카메라 장치를 동작시키는 카메라 구동부를 포함할 수 있다.
이때, 카메라 장치는, 인공지능 서비스를 위한 영상을 획득할 수 있는 이미지 센서와 영상 처리 모듈을 포함할 수 있다.
자세히, 카메라 장치는, 이미지 센서(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다.
또한, 카메라 장치는, 영상 처리 모듈을 이용하여 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공해 필요한 정보를 추출하고, 추출된 정보를 카메라 시스템의 프로세서로 전달할 수 있다.
또한, 카메라 구동부는, 카메라 시스템 프로세서의 제어 신호에 따라서 상기 카메라 장치를 상하좌우로 작동시킬 수 있다. 이를 통해, 카메라 구동부는, 영상의 피사체를 다각도로 촬영할 수 있도록 촬영방향을 제어할 수 있다.
위와 같은 구성요소를 포함할 수 있는 웹 카메라 디바이스는, 실시예에서 사용자에 의하여 특정 물리적 공간에 배치될 수 있다. 그리고 웹 카메라 디바이스는, 배치된 공간의 시점에서 상기 카메라 장치를 이용해 인공지능 서비스를 위한 영상을 촬영할 수 있고, 촬영된 영상을 컴퓨팅 디바이스(100) 및/또는 서버 시스템(500)으로 제공할 수 있다.
여기서, 웹 카메라 디바이스는, 카메라 장치 및 카메라 구동부와 같은 구성요소를 내/외부에 탑재 가능한 카메라 하우징을 더 포함할 수 있다.
자세히, 웹 카메라 디바이스의 카메라 하우징은, 웹 카메라 디바이스의 외관을 형성하며, 내/외부에 웹 카메라 디바이스의 구동에 필요한 각종 구성요소를 구비할 수 있다.
또한, 실시예에서 카메라 하우징은, 특정 물리적 공간에 탈착하는 방식으로 배치되는 탈착형으로 구현될 수도 있고, 특정 물리적 공간에 고정되는 방식으로 배치되는 고정형으로 구현될 수도 있다.
즉, 위와 같은 카메라 하우징을 포함하는 웹 카메라 디바이스는, 특정 물리적 공간에 배치될 시, 해당 공간에 탈착되는 형태 또는 고정되는 형태로 설치될 수 있다.
한편, 카메라 시스템의 네트워크 박스는, 촬영된 영상의 보다 원활한 송수신을 위한 게이트 웨이(gateway) 역할을 수행할 수 있다.
여기서, 게이트 웨이란, 컴퓨터 네트워크에서 서로 다른 통신망 및/또는 프로토콜을 사용하는 네트워크 간의 통신을 가능하게 하는 컴퓨터나 소프트웨어를 의미할 수 있다.
즉, 실시예에서 네트워크 박스는, 서로 다른 네트워크 상의 통신 프로토콜(protocol, 통신 규약)을 적절히 변환해주는 역할을 수행할 수 있다.
이러한 네트워크 박스는, 예시적으로 촬영된 영상의 원활한 송수신을 보조하기 위해 네트워크 유선 연결을 지원할 수 있다. 이때, 네트워크 박스는, 안정적인 네트워크 연결을 위한 각종 유닛을 탑재할 수 있는 네트워크 박스 본체, 네트워크와의 연결 통로를 제공하는 유선 케이블, 네트워크 박스와 외부 인터페이스 유닛 간의 연결을 보조하는 인터페이스 장치 등을 포함하여 구현될 수 있다.
- 컴퓨팅 디바이스(Computing device, 100)
본 발명의 실시예에서 컴퓨팅 디바이스(100)는, 사용자에게 인공지능 서비스 환경을 제공하며, 이러한 인공지능 서비스 환경 내에서 이미지 인식을 수행하여 다양한 목적의 인공지능 서비스를 구현할 수 있는 인공지능 어플리케이션을 실행할 수 있다.
이러한 컴퓨팅 디바이스(100)는, 실시예에 따라서 웹 카메라 디바이스와는 별도의 장치로서 구현될 수도 있고, 웹 카메라 디바이스에 포함되어 구현될 수도 있다. 다만, 실시예에 따른 인공지능 서비스 구현의 실용성 및 편의성 등을 위하여 모바일 타입의 컴퓨팅 디바이스(200) 등과 같은 외부의 장치로서 구현되는 것이 바람직한 실시예일 것이다. 이하의 설명에서는, 컴퓨팅 디바이스(100)가 웹 카메라 디바이스와는 별도의 외부 장치로서 구현되는 실시예에 한정하여 설명하기로 한다.
또한, 위와 같은 컴퓨팅 디바이스(100)는, 인공지능 어플리케이션이 설치된 다양한 타입(예컨대, 웨어러블 타입, 모바일 타입 또는 데스크 탑 타입)의 컴퓨팅 디바이스(100)를 포함할 수 있다.
1. 웨어러블 타입의 컴퓨팅 디바이스(101, 102)
도 2는 본 발명의 실시예에 따른 웨어러블 타입의 컴퓨팅 디바이스(101, 102)의 내부 블록도이다.
실시예에 따른 웨어러블 타입의 컴퓨팅 디바이스(101, 102)는, 스마트 글래스(smart glasses display)나 헤드 마운티드 디스플레이(HMD)와 같은 웨어러블 타입의 컴퓨팅 디바이스(101, 102)를 포함할 수 있다.
스마트 글라스 타입의 컴퓨팅 디바이스(101)는, 착용되는 동안 사용자가 주변 물리적 공간을 볼 수 있도록 광을 투과하면서 사용자의 시야 상에 가상 컨텐츠(예컨대, 가상객체 이미지)를 표시하는 글라스를 포함하는 디스플레이 시스템을 포함할 수 있다.
자세히, 실시예의 스마트 글라스 타입의 컴퓨팅 디바이스(101)는, 주변 물리적 공간으로부터의 광이 사용자의 눈에 도달하도록 투과함과 동시에, 디스플레이 시스템에 의해 표시된 영상을 사용자의 눈을 향해 반사시키는 투명한 글래스 디스플레이를 포함할 수 있다.
또한, 헤드 마운티드 디스플레이 타입의 컴퓨팅 디바이스(102)는, 디스플레이 시스템에 의해서만, 디스플레이된 이미지를 볼 수 있도록 주변 물리적 공간에 대한 광을 차단할 수 있다.
이러한 헤드 마운티드 디스플레이 타입의 컴퓨팅 디바이스(102)는, 3차원 장면을 인식시키기 위해 좌안과 우안 디스플레이 각각에 시차에 오프셋을 둔 서로 다른 이미지를 출력함으로써, 3차원 영상을 출력할 수도 있다.
이하에서는, 이러한 웨어러블 타입의 컴퓨팅 디바이스(101, 102) 중 스마트 글라스 타입의 컴퓨팅 디바이스(101)를 중심으로 구체적인 구성요소를 설명하기로 한다.
도 2를 참조하면, 예시적인 구현에 따른 스마트 글라스 타입의 컴퓨팅 디바이스(101)는, 인공지능 어플리케이션을 포함하는 메모리(110), 프로세서 어셈블리(120), 통신 모듈(130), 인터페이스 모듈(140), 입력 시스템(150), 센서 시스템(160) 및 디스플레이 시스템(170)을 포함할 수 있다. 또한, 상기 구성요소들은 컴퓨팅 디바이스(101)의 하우징 내에 포함되도록 구현될 수 있다.
메모리(110)에는, 인공지능 어플리케이션(111)이 저장되며, 인공지능 어플리케이션(111)에는 인공지능 서비스 환경을 제공하기 위한 각종 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있다.
예를 들면, 메모리(110)는, 인공지능 서비스 식별 데이터, 가상 컨텐츠, 이미지 버퍼, 위치 엔진, 가상 컨텐츠 디스플레이 엔진 등이 포함될 수 있다.
즉, 메모리(110)는 인공지능 서비스 환경을 생성하기 위해 사용될 수 있는 명령 및 데이터를 저장할 수 있다.
또한, 메모리(110)는, 적어도 하나 이상의 비일시적 컴퓨터 판독 가능 저장매체와, 일시적 컴퓨터 판독 가능 저장매체를 포함할 수 있다. 예를 들어, 메모리(110)는, ROM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 메모리(110)의 저장 기능을 수행하는 웹 스토리지(web storage)를 포함할 수 있다.
프로세서 어셈블리(120)는, 인공지능 서비스 환경을 생성하기 위한 다양한 작업을 수행하기 위해, 메모리(110)에 저장된 인공지능 어플리케이션(111)의 명령들을 실행할 수 있는 적어도 하나 이상의 프로세서를 포함할 수 있다.
실시예에서 프로세서 어셈블리(120)는, 이미지 인식 기반의 인공지능 서비스를 제공하기 위하여 메모리(110)의 인공지능 어플리케이션(111)을 통해 구성요소의 전반적인 동작을 컨트롤할 수 있다.
이러한 프로세서 어셈블리(120)는, 중앙처리장치(CPU) 및/또는 그래픽 프로세서 장치(GPU)를 포함할 수 있다. 또한, 프로세서 어셈블리(120)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 포함하여 구현될 수 있다.
통신 모듈(130)은, 다른 컴퓨팅 장치(예컨대, 서버 시스템(500))와 통신하기 위한 하나 이상의 장치를 포함할 수 있다. 이러한 통신 모듈(130)은, 무선 네트워크를 통해 통신할 수 있다.
자세히, 통신 모듈(130)은, 인공지능 서비스 환경을 구현하기 위한 인공지능 컨텐츠 소스를 저장한 컴퓨팅 장치와 통신할 수 있으며, 사용자 입력을 받은 컨트롤러와 같은 다양한 사용자 입력 컴포넌트와 통신할 수 있다.
실시예에서 통신 모듈(130)은, 이미지 인식 기반의 인공지능 서비스와 관련된 각종 데이터를 서버 시스템(500) 및/또는 다른 컴퓨팅 디바이스(100)와 송수신할 수 있다.
이러한 통신 모듈(130)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced),5G NR(New Radio), WIFI) 또는 근거리 통신방식 등을 수행할 수 있는 통신장치를 통해 구축된 이동 통신망 상에서 기지국, 외부의 단말, 임의의 서버 중 적어도 하나와 무선으로 데이터를 송수신할 수 있다.
센서 시스템(160)은, 이미지 센서(161), 위치 센서(IMU, 163), 오디오 센서, 거리 센서, 근접 센서, 접촉 센서 등 다양한 센서를 포함할 수 있다.
이미지 센서(161)는, 컴퓨팅 디바이스(101) 주위의 물리적 공간에 대한 이미지 및/또는 영상을 캡처할 수 있다.
실시예에서 이미지 센서(161)는, 이미지 인식 기반의 인공지능 서비스에 관련된 영상을 촬영하여 획득할 수 있다.
또한, 이미지 센서(161)는, 컴퓨팅 디바이스(101)의 전면 또는/및 후면에 배치되어 배치된 방향측을 촬영하여 영상을 획득할 수 있으며, 컴퓨팅 디바이스(101)의 외부를 향해 배치된 카메라를 통해 물리적 공간을 촬영할 수 있다.
이러한 이미지 센서(161)는, 이미지 센서장치와 영상 처리 모듈을 포함할 수 있다. 자세히, 이미지 센서(161)는, 이미지 센서장치(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다.
또한, 이미지 센서(161)는, 영상 처리 모듈을 이용하여 이미지 센서장치를 통해 획득된 정지영상 또는 동영상을 가공해 필요한 정보를 추출하고, 추출된 정보를 프로세서에 전달할 수 있다.
이러한 이미지 센서(161)는, 적어도 하나 이상의 카메라를 포함하는 카메라 어셈블리일 수 있다. 카메라 어셈블리는, 가시광선 대역을 촬영하는 일반 카메라를 포함할 수 있으며, 적외선 카메라, 스테레오 카메라 등의 특수 카메라를 더 포함할 수 있다.
IMU(163)는 컴퓨팅 디바이스(101)의 움직임 및 가속도 중 적어도 하나 이상을 감지할 수 있다. 예를 들어, 가속도계, 자이로스코프, 자력계와 같은 다양한 위치 센서의 조합으로 이루어 질 수 있다. 또한, 통신 모듈(130)의 GPS와 같은 위치 통신 모듈(130)과 연동하여, 웨어러블 타입의 컴퓨팅 디바이스(101) 주변의 물리적 공간에 대한 공간 정보를 인식할 수 있다.
또한, IMU(163)는, 검출된 위치 및 방향을 기초로 사용자의 시선 방향 및 머리 움직임을 검출 및 추적하는 정보를 검출할 수 있다.
또한, 일부 구현들에서, 인공지능 어플리케이션(111)은 이러한 IMU(163) 및 이미지 센서(161)를 사용하여 물리적 공간 내의 사용자의 위치 및 방향을 결정하거나 물리적 공간 내의 특징 또는 객체를 인식할 수 있다.
오디오 센서(165)는, 웨어러블 타입의 컴퓨팅 디바이스(101) 주변의 소리를 인식할 수 있다.
자세히, 오디오 센서(165)는, 웨어러블 타입의 컴퓨팅 디바이스(101) 사용자의 음성 입력을 감지할 수 있는 마이크로폰을 포함할 수 있다.
실시예에서 오디오 센서(165)는 이미지 인식 기반의 인공지능 서비스를 위해 필요한 음성 데이터를 사용자로부터 입력 받을 수 있다.
인터페이스 모듈(140)은, 웨어러블 타입의 컴퓨팅 디바이스(101)를 하나 이상의 다른 장치와 통신 가능하게 연결할 수 있다. 자세히, 인터페이스 모듈(140)은, 하나 이상의 상이한 통신 프로토콜과 호환되는 유선 및/또는 무선 통신 장치를 포함할 수 있다.
이러한 인터페이스 모듈(140)을 통해 웨어러블 타입의 컴퓨팅 디바이스(101)는, 여러 입출력 장치들과 연결될 수 있다.
예를 들어, 인터페이스 모듈(140)은, 헤드셋 포트나 스피커와 같은 오디오 출력장치와 연결되어, 오디오를 출력할 수 있다.
예시적으로 오디오 출력장치가 인터페이스 모듈(140)을 통해 연결되는 것으로 설명하였으나, 컴퓨팅 디바이스(101) 내부에 설치되는 실시예도 포함될 수 있다.
이러한 인터페이스 모듈(140)은, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port), 전력 증폭기, RF 회로, 송수신기 및 기타 통신 회로 중 적어도 하나를 포함하여 구성될 수 있다.
입력 시스템(150)은 이미지 인식 기반의 인공지능 서비스와 관련된 사용자의 입력(예를 들어, 제스처, 음성 명령, 버튼의 작동 또는 다른 유형의 입력)을 감지할 수 있다.
자세히, 입력 시스템(150)은 버튼, 터치 센서 및 사용자 모션 입력을 수신하는 이미지 센서(161)를 포함할 수 있다.
또한, 입력 시스템(150)은, 인터페이스 모듈(140)을 통해 외부 컨트롤러와 연결되어, 사용자의 입력을 수신할 수 있다.
디스플레이 시스템(170)은, 웨어러블 타입의 컴퓨팅 디바이스(101) 주변 물리적 공간으로부터의 광이 사용자의 눈에 도달하도록 투과함과 동시에, 디스플레이 시스템(170)에 의해 표시된 영상을 사용자의 눈을 향해 반사시키는 투명한 글래스 디스플레이를 포함할 수 있다.
이러한 디스플레이 시스템(170)은, 웨어러블 타입의 컴퓨팅 디바이스(101)를 착용한 사용자의 좌안에 대응되는 좌측 디스플레이(171)와, 우안에 대응되는 우측 디스플레이(172)를 포함할 수 있으며, 좌측 디스플레이(171)와 우측 디스플레이(172)는 시차에 오프셋을 둔 서로 다른 이미지를 가상 컨텐츠로 출력함으로써, 사용자는 가상 컨텐츠를 3차원 이미지로 인식할 수 있다.
실시예에서 디스플레이 시스템(170)은, 이미지 인식 기반의 인공지능 서비스와 관련된 다양한 정보를 그래픽 이미지로 출력할 수 있다.
이러한 디스플레이는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
이러한 웨어러블 타입 컴퓨팅 디바이스(101)는, 작업 현장과 같은 물리적 공간에 위치한 현장 작업자가 사용하기에 유리할 수 있다.
2. 모바일 타입 컴퓨팅 디바이스(200)
도 3은 본 발명의 실시예에 따른 모바일 타입의 컴퓨팅 디바이스(200)의 내부 블록도이다.
다른 예시에서 컴퓨팅 디바이스(200)는, 인공지능 어플리케이션이 설치된 스마트 폰이나 테블릿 PC와 같은 모바일 장치일 수 있다. 이러한 모바일 타입 컴퓨팅 디바이스(200)는, 이미지 센서로 주변 물리적 공간의 영상을 캡처하고, 디스플레이 시스템을 통해 캡처된 영상과 물리적 공간에 매칭되어 표시되는 영상을 표시하여 인공지능 서비스 환경을 사용자에게 제공할 수 있다.
예를 들어, 컴퓨팅 디바이스(200)는 스마트 폰(smart phone), 휴대폰, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 태블릿 PC(tablet PC), 등이 포함될 수 있다.
도 3을 참조하면, 예시적인 구현에 따른 모바일 타입 컴퓨팅 디바이스(200)는, 메모리(210), 프로세서 어셈블리(220), 통신 모듈(230), 인터페이스 모듈(240), 입력 시스템(250), 센서 시스템(260) 및 디스플레이 시스템(270)을 포함할 수 있다. 이러한 구성요소들은 모바일 타입의 컴퓨팅 디바이스(200)의 하우징 내에 포함되도록 구성될 수 있다.
모바일 타입 컴퓨팅 디바이스(200)의 상기 구성요소에 대한 설명 중 중복되는 내용은 웨어러블 타입 컴퓨팅 디바이스(101)의 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 웨어러블 타입 컴퓨팅 디바이스(101)와의 차이점을 중심으로 설명한다.
이러한 모바일 타입 컴퓨팅 디바이스(200)의 하우징 내에는 상기 구성요소들이 배치될 수 있으며, 사용자 인터페이스는 사용자 터치 입력을 수신하도록 구성된 디스플레이(271) 상에 터치 센서(273)를 포함할 수 있다.
자세히, 디스플레이 시스템(270)은, 이미지를 출력하는 디스플레이(271)와, 사용자의 터치 입력을 감지하는 터치 센서(273)를 포함할 수 있다.
예시적으로 디스플레이(271)는 터치 센서(273)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린으로 구현될 수 있다. 이러한 터치 스크린은, 컴퓨팅 디바이스(200)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 컴퓨팅 디바이스(200)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
또한, 센서 시스템(260)은, 이미지 센서(261)를 포함하며, 예시적으로 이미지 센서(261)는 컴퓨팅 디바이스(200)의 하우징에 일측 면과 타측 면에 배치될 수 있다.
이때, 일측 면의 이미지 센서가 물리적 공간을 향해 배향되어 물리적 공간을 촬영한 영상을 캡처할 수 있으며, 타측 면의 이미지 센서는 사용자 측을 향해 배향되어 사용자 시야, 제스처 등을 촬영할 수 있다.
3. 데스크 탑 타입 컴퓨팅 디바이스(300)
도 4는 본 발명의 실시예에 따른 데스크 탑 타입의 컴퓨팅 디바이스(300)의 내부 블록도이다.
데스크 탑 타입의 컴퓨팅 디바이스(300)의 상기 구성요소에 대한 설명 중 중복되는 내용은 웨어러블 타입 컴퓨팅 디바이스(101)의 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 웨어러블 타입 컴퓨팅 디바이스(101)와의 차이점을 중심으로 설명한다.
도 4를 참조하면, 다른 예시에서 데이크 탑 타입의 컴퓨팅 디바이스(300)는, 인공지능 어플리케이션(311)이 설치된 고정형 데스크 탑 PC, 노트북 컴퓨터(laptop computer), 울트라북(ultrabook)과 같은 퍼스널 컴퓨터 등과 같이 유/무선 통신을 기반으로 다중 사용자 간의 증강현실 커뮤니케이션 서비스를 실행하기 위한 프로그램이 설치된 장치를 더 포함할 수 있다.
또한, 데스크 탑 타입 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템(350)을 포함하여, 사용자 입력(예컨대, 터치 입력, 마우스 입력, 키보드 입력, 제스처 입력, 가이드 도구를 이용한 모션 입력 등)을 수신할 수 있다.
예시적으로, 데스크 탑 타입의 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템(350)을 다양한 통신 프로토콜로 마우스(351), 키보드(352), 제스처 입력 컨트롤러, 이미지 센서(361)(예컨대, 카메라) 및 오디오 센서(365) 등 적어도 하나의 장치와 연결되어, 사용자 입력을 획득할 수 있다.
또한, 데스크 탑 타입의 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템(350)을 통해 외부 출력 장치와 연결될 수 있으며, 예컨대, 디스플레이 장치(370), 오디오 출력 장치 등에 연결될 수 있다.
또한, 예시적인 구현에 따른 데스크 탑 타입 컴퓨팅 디바이스(300)는, 메모리(310), 프로세서 어셈블리(320), 통신 모듈(330), 유저 인터페이스 시스템(350) 및 입력 시스템(340)을 포함할 수 있다. 이러한 구성요소들은 컴퓨팅 디바이스(300)의 하우징 내에 포함되도록 구성될 수 있다.
데스크 탑 타입 컴퓨팅 디바이스(300)의 상기 구성요소에 대한 설명은 웨어러블 타입 컴퓨팅 디바이스(101)의 구성요소에 대한 설명으로 대체하기로 한다.
다만, 본 발명의 실시예에서 도 2 내지 4에 도시된 구성요소들은, 컴퓨팅 디바이스(100)를 구현하는데 있어 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 컴퓨팅 디바이스(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
- 서버 시스템(Server system, 500)
한편, 본 발명의 실시예에서 서버 시스템(500)은, 이미지 인식 기반의 인공지능 서비스를 제공하기 위한 일련의 프로세스를 수행할 수 있다.
자세히, 서버 시스템(500)은, 이미지 인식 기반의 인공지능 서비스를 구현하기 위한 이미지 딥러닝(Image Deep-learning)을 수행할 수 있다.
예를 들면, 서버 시스템(500)은, 딥러닝 뉴럴 네트워크와 연동하여 웹 카메라 디바이스를 통해 촬영된 영상에 대한 이미지 딥러닝을 수행할 수 있다.
또한, 서버 시스템(500)은, 복수의 이미지 인식 기반 인공지능 서비스를 제공할 수 있다.
실시예에서, 서버 시스템(500)은, 냉장고 재고관리 서비스, 화장품 재고관리 서비스 및/또는 유아 영양관리 서비스 등을 포함하는 다양한 인공지능 서비스를 컴퓨팅 디바이스(100)로 제공할 수 있다. 이때, 서버 시스템(500)으로부터 인공지능 서비스를 제공받은 컴퓨팅 디바이스(100)의 인공지능 어플리케이션은, 수신된 인공지능 서비스를 동작하여 사용자에게 제공할 수 있다.
또한, 서버 시스템(500)은, 인공지능 서비스 별 데이터베이스를 구축하고 관리할 수 있다.
예를 들면, 서버 시스템(500)은, 냉장고 재고관리 서비스를 위한 제 1 데이터베이스, 화장품 재고관리 서비스를 위한 제 2 데이터베이스 및/또는 유아 영양관리 서비스를 위한 제 3 데이터베이스를 구축할 수 있고, 각 데이터베이스에 관련된 데이터를 저장 및 관리할 수 있다.
도 1을 더 참조하면, 위와 같은 서버 시스템은, 이미지 딥러닝 서버(510), 인공지능 서비스 제공서버(520) 및 인공지능 서비스 별 데이터베이스(530)를 포함할 수 있다.
자세히, 이미지 딥러닝 서버(510)는, 이미지 인식을 수행하기 위한 이미지 딥러닝 뉴럴 네트워크를 포함할 수 있다.
실시예에서, 이미지 딥러닝 서버(510)는, 컨볼루션 뉴럴 네트워크(CNN, Convolution Neural Network), R-CNN(Regions with CNN features), Fast R-CNN, Faster R-CNN 및 Mask R-CNN 중 적어도 하나 이상의 딥러닝 뉴럴 네트워크를 포함할 수 있다.
또한, 이미지 딥러닝 서버(510)는, 적어도 하나 이상의 딥러닝 뉴럴 네트워크에 기반하여 이미지 인식 프로세스를 수행할 수 있다.
예를 들어, 이미지 딥러닝 서버(510)는, 웹 카메라 디바이스에 의해 획득된 영상으로부터 이미지 세그먼트에 의해 분리된 오브젝트를 분류하고(classify), 확인할 수 있다(verify). 자세히, 이미지 딥러닝 서버(510)는, 뉴럴 네트워크(neural network)를 이용한 식별법, SVM(Support Vector Machine) 기법, Haar-like 특징을 이용한 AdaBoost에 의해 식별하는 기법, 또는 HOG(Histograms of Oriented Gradients) 기법 등을 사용하여 영상에 기반한 이미지 인식을 수행할 수 있다.
또한, 인공지능 서비스 제공서버(520)는, 이미지 인식 기반의 인공지능 서비스 환경을 구현하기 위한 응용 프로그램, 데이터 및/또는 명령어 등을 포함할 수 있다.
예를 들면, 인공지능 서비스 제공서버(520)는, 냉장고 재고관리 서비스, 화장품 재고관리 서비스 및/또는 유아 영양관리 서비스 등을 포함하는 다양한 인공지능 서비스 환경을 구축하기 위한 각종 데이터를 저장 및 관리할 수 있다.
또한, 인공지능 서비스 별 데이터베이스(530)는, 각각의 인공지능 서비스와 관련된 각종 데이터들을 저장하고 관리할 수 있다.
예를 들면, 인공지능 서비스 별 데이터베이스(530)는, 냉장고 재고관리 서비스를 위한 제 1 데이터베이스, 화장품 재고관리 서비스를 위한 제 2 데이터베이스 및/또는 유아 영양관리 서비스를 위한 제 3 데이터베이스를 구축할 수 있다. 이때, 인공지능 서비스 별 데이터베이스(530)는, 유아 영양관리 서비스를 위한 제 3 데이터베이스에 세팅 예시정보, 이미지 인식영역별 인식정보 및/또는 인공지능 서비스 정보 등을 저장 및 관리할 수 있다. 이에 대한 자세한 설명은 후술하기로 한다.
이러한 구성요소들을 포함하는 서버 시스템(500)은, 적어도 하나 이상의 이미지 딥러닝 서버(510), 인공지능 서비스 제공서버(520) 및/또는 인공지능 서비스 별 데이터베이스(530)로 구성될 수 있으며, 데이터 처리를 위한 프로세서들과, 이미지 인식 기반의 인공지능 서비스 제공을 위한 명령어들을 저장하는 메모리들을 포함할 수 있다.
- 이미지 인식 기반 인공지능 서비스 제공방법
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 이미지 인식 기반의 인공지능 서비스 제공방법에 대해 상세히 설명하고자 한다. 이때, 이하의 실시예에서는, 컴퓨팅 디바이스(100)를 모바일 타입의 컴퓨팅 디바이스(200)에 기준하여 설명하기로 하나, 이에 한정되는 것은 아니다.
도 5는 본 발명의 실시예에 따른 이미지 인식 기반 인공지능 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 본 발명의 실시예에서 모바일 타입의 컴퓨팅 디바이스(200)는, 이미지 인식 기반의 인공지능 서비스를 수행하기 위한 인공지능 어플리케이션(211)을 실행할 수 있다.
그리고 실행된 인공지능 어플리케이션(211)은, 이미지 인식 기반의 인공지능 서비스를 선택할 수 있다. (S101)
자세히, 인공지능 어플리케이션(211)은, 여러 종류의 이미지 인식 기반 인공지능 서비스를 제공할 수 있다.
여기서, 인공지능 서비스는, 냉장고 재고관리 서비스(예컨대, 식품 유통기한, 잔여량, 필요보충량 등에 대한 관리 서비스), 화장품 재고관리 서비스(예컨대, 화장품 유통기한, 잔여량, 필요보충량 등에 대한 관리 서비스) 및/또는 유아 영양관리 서비스(예컨대, 제조되는 유아식에 대한 영양소 관리 서비스) 등을 포함할 수 있다.
또한, 인공지능 어플리케이션(211)은, 제공된 인공지능 서비스들 중, 사용자가 이미지 인식에 기반한 분석을 통하여 특정한 결과 데이터를 제공받고자 하는 인공지능 서비스를 선택할 수 있다.
예를 들면, 인공지능 어플리케이션(211)은, 사용자가 유아에게 제공하기 위해 조리되는 유아식의 총 칼로리 및 영양소 정보, 영양소 균형 정보 및/또는 칼로리에 따른 섭취 가능 수 정보(예컨대, 3회분 또는 3인분 등) 등에 대한 데이터를 이미지 인식에 기반하여 획득하고자 하는 경우, 복수의 인공지능 서비스들 중 유아 영양관리 서비스를 선택하는 사용자 입력을 획득할 수 있다. 그리고 인공지능 어플리케이션(211)은, 획득된 사용자 입력을 기반으로 복수의 인공지능 서비스 중 일 인공지능 서비스를 결정할 수 있다.
즉, 본 발명의 실시예에서 인공지능 어플리케이션(211)은, 이미지 인식 기반 인공지능 서비스 시스템을 다양한 목적을 가지는 인공지능 서비스들에 접목하여 활용 가능함으로써, 사용 목적이나 분야의 제약없이 이미지 인식 기반 인공지능 서비스를 다양한 방식으로 구현할 수 있다.
이하, 본 발명의 실시예에서는 설명의 편의를 위하여 유아 영양관리 서비스를 기준으로 설명하나, 이에 한정되는 것은 아니다.
또한, 실행할 인공지능 서비스를 선택한 인공지능 어플리케이션(211)은, 웹 카메라 디바이스에 대한 영상 세팅(setting) 프로세스를 실행할 수 있다. (S103)
여기서, 영상 세팅 프로세스란, 선택된 인공지능 서비스(실시예에서, 유아 영양관리 서비스)를 제공하는데 최적화된 영상 환경이 설정되도록 웹 카메라 디바이스를 통해 촬영되는 영상을 세팅하는 프로세스일 수 있다.
도 6은 본 발명의 실시예에 따른 세팅 예시정보를 나타내는 모습의 일례이다.
도 6을 참조하면, 영상 세팅 프로세스를 실행한 인공지능 어플리케이션(211)은, 웹 카메라 디바이스 영상을 예시적으로 세팅한 정보인 세팅 예시정보를 표시할 수 있다.
실시예에서, 유아 영양관리 서비스가 선택된 경우 인공지능 어플리케이션(211)은, 유아 영양관리 서비스를 제공하는데 최적화된 영상 환경이 예시적으로 설정한 세팅 예시정보를 표시할 수 있다.
이때, 유아 영양관리 서비스를 위한 세팅 예시정보는, 1) 웹 카메라 디바이스 영상 상에 설정된 복수의 이미지 인식영역 정보, 2) 각 이미지 인식영역에서 이미지 인식을 통해 제공하는 목적 데이터 정보 및/또는 3) 각 이미지 인식영역이 포함하는 객체 정보를 포함할 수 있다.
여기서, 이미지 인식영역 정보는, 특정 목적 데이터 및/또는 객체를 위한 웹 카메라 디바이스 영상의 일 영역을 설정한 정보일 수 있다.
예를 들면, 인공지능 어플리케이션(211)은, 유아 영양관리 서비스를 위한 제 1 세팅 예시정보를 표시할 수 있고, 표시되는 제 1 세팅 예시정보는, 영상의 제 1 영역에 대해 형성되는 제 1 이미지 인식영역(10), 제 2 영역에 대해 형성되는 제 2 이미지 인식영역(20) 및 제 3 영역에 대해 형성되는 제 3 이미지 인식영역(30)을 표시할 수 있다.
또한, 실시예에서 목적 데이터 정보는, 이미지 인식영역에 대한 이미지 분석을 통하여 도출하고자 하는 목적 데이터를 나타내는 정보일 수 있다.
예를 들면, 상기 제 1 세팅 예시정보는, 제 1 이미지 인식영역(10)에 대한 이미지 인식을 통해 제공하는 제 1 목적 데이터(11)로 ‘식자재명(식자재 종류) 및/또는 식자재량(식자재 중량)’, 제 2 이미지 인식영역(20)의 제 2 목적 데이터(21)로 ‘식자재량(식자재 중량) 및/또는 조미료량(조미료 중량)’, 제 3 이미지 인식영역(30)의 제 3 목적 데이터(31)로 ‘조미료명(조미료 종류) 및/또는 조미료량(조미료 중량)’을 표시할 수 있다.
또한, 실시예에 따른 객체 정보는, 이미지 인식영역에 포함되어야 하는 객체를 지정한 정보일 수 있다.
예를 들어, 인공지능 어플리케이션(211)은, 상기 제 1 세팅 예시정보를 통하여 제 1 이미지 인식영역(10)에는 ‘도마’가 포함되어야 하고, 제 2 이미지 인식영역(20)에는 ‘저울’이 포함되어야 하며, 제 3 이미지 인식영역(30)에는 ‘유아식 제조기’가 포함되어야 한다고 지정한 객체 정보를 제공할 수 있다. 즉, 상기 제 1 세팅 예시정보는, 제 1 이미지 인식영역(10)에서 이미지 인식을 통해 제공하는 제 1 객체 정보(12)로 ‘도마’, 제 2 이미지 인식영역(20)의 제 2 객체 정보(22)로 ‘저울’, 제 3 이미지 인식영역(30)의 제 3 객체 정보(32)로 ‘유아식 제조기’를 표시할 수 있다.
이와 같이, 본 발명의 실시예에서 인공지능 어플리케이션(211)은, 특정 인공지능 서비스를 제공하는데 최적화된 영상 환경이 예시적으로 설정된 세팅 예시정보를 표시하여 사용자로 하여금 이미지 인식영역에 대한 촬영환경을 세팅하도록 함으로써, 사용자가 선택한 인공지능 서비스에 최적화된 사용 환경이 조성되도록 효과적으로 보조할 수 있다.
또한, 실시예에서 영상 세팅 프로세스를 실행하는 인공지능 어플리케이션(211)은, 웹 카메라 디바이스의 실시간 영상을 표시할 수 있다.
자세히, 인공지능 어플리케이션(211)은, 네트워크에 기반하여 웹 카메라 디바이스로부터 촬영되는 실시간 영상을 수신해 출력할 수 있다.
이때, 인공지능 어플리케이션(211)은, 수신된 실시간 영상을 세팅 예시정보를 제공한 이후 표시하거나, 또는 세팅 예시정보와 병렬적으로 함께 표시할 수 있다.
그리고 인공지능 어플리케이션(211)은, 표시된 웹 카메라 디바이스의 실시간 영상에 대한 이미지 인식영역 설정 인터페이스를 제공할 수 있다.
자세히, 인공지능 어플리케이션(211)은, 제공된 세팅 예시정보를 참조하여, 웹 카메라 디바이스의 실시간 영상에서 복수의 이미지 인식영역을 설정할 수 있는 이미지 인식영역 설정 인터페이스(이하, 영역 설정 인터페이스)를 제공할 수 있다.
보다 상세히, 인공지능 어플리케이션(211)은, 영역 설정 인터페이스에 대한 사용자 입력을 기반으로, 각 이미지 인식영역에 대한 경계선, 목적 데이터 및/또는 객체 정보를 설정할 수 있다.
도 7은 본 발명의 실시예에 따른 이미지 인식영역 설정 인터페이스에 기반하여 이미지 인식영역을 설정하는 모습의 일례이다.
도 7을 참조하면, 실시예에서 인공지능 어플리케이션(211)은, 웹 카메라 디바이스의 실시간 영상에 기반하여 제공되는 영역 설정 인터페이스를 기초로, 상기 영상에서 특정 영역을 선택하는 사용자 입력(예컨대, 드래그 입력 등)을 획득할 수 있다. 그리고 인공지능 어플리케이션(211)은, 획득된 사용자 입력에 기초하여 상기 특정 영역 상에 매칭되는 특정 이미지 인식영역을 생성할 수 있고, 생성된 특정 이미지 인식영역의 경계선을 설정할 수 있다.
예를 들면, 인공지능 어플리케이션(211)은, 영역 설정 인터페이스를 기반으로 실시간 영상에서 제 1 영역을 선택하는 사용자 입력(예컨대, 드래그 입력 등)을 획득할 수 있다. 그리고 인공지능 어플리케이션(211)은, 획득된 사용자 입력에 기초하여 제 1 영역 상에 매칭되는 제 1 이미지 인식영역을 생성할 수 있고, 생성된 제 1 이미지 인식영역의 경계선을 설정할 수 있다.
도 8은 본 발명의 실시예에 따른 이미지 인식영역 설정 인터페이스를 기초로 이미지 인식영역에 대한 목적 데이터 및/또는 객체 정보를 설정하는 모습의 일례이다.
또한, 도 8을 참조하면 인공지능 어플리케이션(211)은, 실시간 영상에 대한 영역 설정 인터페이스에 기반하여, 설정된 특정 이미지 인식영역에 대한 목적 데이터 및/또는 객체 정보를 입력하는 인터페이스를 제공할 수 있다.
예를 들면, 인공지능 어플리케이션(211)은, 제공된 인터페이스를 통하여 제 1 이미지 인식영역에 대한 제 1 목적 데이터(예컨대, 식자재명, 식자재량, 조미료명 또는 조미료량 등) 및/또는 제 1 객체 정보(예컨대, 도마, 저울 또는 유아식 제조기 등)를 지정하는 사용자 입력을 획득할 수 있다. 그리고 인공지능 어플리케이션(211)은, 획득된 사용자 입력을 기초로 제 1 이미지 인식영역에 대한 제 1 목적 데이터 및/또는 제 1 객체 정보를 설정할 수 있다.
이와 같이, 본 발명의 실시예에서 인공지능 어플리케이션(211)은, 웹 카메라 디바이스로부터 촬영되는 실시간 영상에 기초하는 영역 설정 인터페이스를 제공하여, 사용자가 주어진 환경을 반영해 인공지능 서비스 구현 환경을 유연하게 설정 가능하도록 할 수 있다.
또한, 실시예에서 인공지능 어플리케이션(211)은, 사용자 입력을 통해 설정된 제 1 이미지 인식영역에 기초한 이미지 분석을 수행하여, 제 1 이미지 인식영역에 대한 제 1 객체 정보 및/또는 제 1 목적 데이터를 획득할 수 있다.
자세히, 인공지능 어플리케이션(211)은, 사용자 입력에 따른 제 1 이미지 인식영역에 대한 제 1 이미지를 획득할 수 있다.
그리고 인공지능 어플리케이션(211)은, 획득된 제 1 이미지에 대한 이미지 분석을 이미지 딥러닝 뉴럴 네트워크에 기초하여 수행할 수 있다.
이때, 실시예에 따른 이미지 딥러닝 뉴럴 네트워크는, 컨볼루션 뉴럴 네트워크(CNN, Convolution Neural Network), R-CNN(Regions with CNN features), Fast R-CNN, Faster R-CNN 및 Mask R-CNN 중 적어도 하나의 딥러닝 뉴럴 네트워크를 포함할 수 있다.
자세히, 인공지능 어플리케이션(211)은, 이미지 딥러닝 뉴럴 네트워크에 기반하여, 제 1 이미지 내에 존재하는 적어도 하나 이상의 오브젝트들을 디텍팅할 수 있고, 디텍팅된 오브젝트들 중 어느 하나를 메인 오브젝트로 추출할 수 있다.
여기서, 인공지능 어플리케이션(211)은, 적어도 하나 이상의 분류 모델에 기반하여 오브젝트 디텍팅을 수행할 수 있다.
이때, 분류 모델은, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예를 들어, DNN(Deep Neural Network), CNN(Convolutional Neural Network) RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 분류 모델로 사용될 수 있으나, 이에 한정되지 않는다.
보다 상세히, 인공지능 어플리케이션(211)은, 위와 같은 분류 모델을 통해 디텍팅된 오브젝트들 중, 기설정된 카테고리(예컨대, 식기구)에 해당되는 오브젝트를 선별하여 메인 오브젝트로 결정할 수 있다.
실시예에서, 인공지능 어플리케이션(211)은, 범용 데이터에 기반하여 이용하여 학습된 분류 모델을 오브젝트 디텍팅을 수행하는 초기 분류 모델로 사용할 수 있다.
이때, 분류 모델은, 복수의 이미지들에 대한 딥피쳐들의 유사도에 기초하여, 복수의 이미지들을 소정의 그룹으로 분류할 수 있다. 이때, 딥 피쳐들의 유사도는, 딥 피쳐들로 추출된 벡터들 사이의 거리로 나타날 수 있다.
실시예에서, 인공지능 어플리케이션(211)은, 식기구(예컨대, 도마, 저울 및/또는 유아식 제조기 등)에 대한 오브젝트 디텍팅을 수행하도록 알고리즘 훈련된 분류 모델에 기초하여 오브젝트 디텍팅을 수행할 수 있다.
그리하여 인공지능 어플리케이션(211)은, 제 1 이미지로부터 디텍팅된 오브젝트들 중, 식기구에 포함되는 오브젝트를 검출하여 메인 오브젝트로 결정할 수 있다.
예를 들면, 인공지능 어플리케이션(211)은, 식기구에 대한 오브젝트 디텍팅 분류 모델에 기초하여, 제 1 이미지에 대한 영상 전처리(preprocessing)를 수행할 수 있으며, 세그먼트(segment) 및 클러스터링(clustering)을 수행하여, 배경(background)과 전경(foreground)을 분리할 수 있다. 또한, 인공지능 어플리케이션(211)은, 이미지 세그먼트에 의해 분리된 전경으로부터 오브젝트(예컨대, 도마)를 검출할 수 있다. 다음으로, 인공지능 어플리케이션(211)은, 분리된 오브젝트를 분류하고(classify), 확인할 수 있다(verify). 예를 들어, 인공지능 어플리케이션(211)은, 뉴럴 네트워크(neural network)를 이용한 식별법, SVM(Support Vector Machine) 기법, Haar-like 특징을 이용한 AdaBoost에 의해 식별하는 기법, 또는 HOG(Histograms of Oriented Gradients) 기법 등을 사용하여, 식기구로 판단되는 메인 오브젝트를 결정할 수 있다.
또한, 인공지능 어플리케이션(211)은, 추출된 메인 오브젝트를 제 1 객체정보로 설정할 수 있다.
예를 들면, 인공지능 어플리케이션(211)은, 딥러닝 뉴럴 네트워크를 통해 제 1 이미지로부터 '도마' 오브젝트가 추출된 경우, 추출된 '도마' 오브젝트를 제 1 객체정보로 자동 설정할 수 있다.
또한, 인공지능 어플리케이션(211)은, 설정된 제 1 객체정보에 기초하여 제 1 이미지 인식영역에 대한 제 1 목적 데이터를 설정할 수 있다.
자세히, 실시예에서 인공지능 어플리케이션(211)은, 인공지능 서비스별로 기설정되어 있는 복수의 목적 데이터들 중, 제 1 객체정보에 대응하는 목적 데이터를 추출할 수 있다.
예를 들어, 인공지능 어플리케이션(211)은, 제 1 객체가 '도마' 인 경우, 유아 영양관리 서비스에 대하여 기설정되어 있는 복수의 목적 데이터(예컨대, 식자재명, 식자재량, 조미료명 및/또는 조미료량 등) 중, 제 1 객체에 대응되는 목적 데이터로 판단되는 '식자재명(식자재 종류) 및/또는 식자재량(식자재 중량)'을 제 1 목적 데이터로 설정할 수 있다.
이때, 인공지능 어플리케이션(211)은, 특정 객체정보에 대응되는 소정의 목적 데이터를 사용자 설정에 따라 기저장해 놓을 수도 있고, 특정 객체정보에 따른 목적 데이터를 검출하도록 학습된 알고리즘에 기반하여 기설정해 놓을 수도 있다.
위와 같이, 웹 카메라 디바이스로부터 획득된 실시간 이미지로부터 객체 정보 및 목적 데이터를 추출한 이후, 인공지능 어플리케이션(211)은, 추출된 제 1 객체 상에 추가적으로 검출되는 오브젝트를 디텍팅할 수 있다.
이때, 실시예에서 인공지능 어플리케이션(211)은, 식자재(예컨대, 쌀, 채소, 육류 및/또는 조미료 등)에 대한 오브젝트 디텍팅을 수행하도록 알고리즘 훈련된 분류 모델에 기초하여 추가적인 2차 오브젝트 디텍팅을 수행할 수 있다.
예를 들면, 인공지능 어플리케이션(211)은, '도마'로 설정된 제 1 객체 상에 추가적인 오브젝트(예컨대, 양파)를 디텍팅할 수 있다.
또한, 인공지능 어플리케이션(211)은, 2차 오브젝트 디텍팅을 통해 추가 검출된 오브젝트와, 1차 오브젝트 디텍팅을 통해 설정된 제 1 목적 데이터에 기반하여, 제 1 이미지 인식영역에 대한 제 1 목적 데이터 값을 획득할 수 있다.
실시예에서, 인공지능 어플리케이션(211)은, 딥러닝 뉴럴 네트워크에 기반하여, 제 1 목적 데이터와 2차 검출된 오브젝트에 기반한 제 1 목적 데이터 값을 획득할 수 있다.
예를 들면, 인공지능 어플리케이션(211)은, 1차 오브젝트 디텍팅을 통해 검출된 제 1 목적 데이터가 '식자재명(식자재 종류) 및/또는 식자재량(식자재 중량)'이고, 2차 오브젝트 디텍팅을 통해 검출된 오브젝트가 '양파'인 경우, 2차 오브젝트 디텍팅된 양파에 대한 식자재명 및/또는 식자재량 정보를 딥러닝 뉴럴 네트워크를 이용하여 획득할 수 있다.
이와 같이, 인공지능 어플리케이션(211)은, 사용자 입력에 의해 설정된 이미지 인식영역을 딥러닝 뉴럴 네트워크에 기반하여 분석할 수 있고, 이를 통해 해당 이미지 인식영역에 대한 객체 정보 및 목적 데이터를 자동으로 설정할 수 있다.
또한, 인공지능 어플리케이션(211)은, 영상 세팅 프로세스를 수행한 이후, 상기 선택된 인공지능 서비스를 실행할 수 있다. (S105)
자세히, 인공지능 어플리케이션(211)은, 실시간 영상에 대한 영상 세팅이 완료되면, 사용자에 의하여 이미지 딥러닝 분석을 기반으로 제공받고자 선택된 인공지능 서비스(실시예에서, 유아 영양관리 서비스)를 실행할 수 있다.
도 9는 본 발명의 실시예에 따른 이미지 인식영역별 인식정보를 표시하고 수정 인터페이스를 제공하는 모습의 일례이다.
또한, 도 9를 참조하면 인공지능 어플리케이션(211)은, 영상 세팅 프로세스를 기반으로 설정된 이미지 인식영역별 인식정보를 표시할 수 있고, 이에 대한 수정 인터페이스를 제공할 수 있다. (S107)
여기서, 인식정보란, 각 이미지 인식영역에서 이미지 인식을 통해 획득된 목적 데이터를 나타내는 정보일 수 있다.
또한, 수정 인터페이스란, 각 이미지 인식영역에 대한 인식정보를 편집할 수 있는 인터페이스로서, 이미지 인식영역에서 인식정보가 미감지된 경우 별도의 방식으로 인식정보를 입력 또는 획득할 수 있는 인터페이스, 또는 이미지 인식영역에 대하여 표시된 인식정보에 대한 변경을 진행할 수 있는 인터페이스를 포함할 수 있다.
도 10 내지 12는 본 발명의 실시예에 따른 수정 인터페이스를 기반으로 각 이미지 인식영역의 인식정보를 업데이트하는 방법을 설명하기 위한 도면이다.
도 10을 참조하면, 일례에서 인공지능 어플리케이션(211)은, 유아 영양관리 서비스를 위해 촬영된 실시간 영상의 제 1 이미지 인식영역에 대한 이미지 인식을 통하여, 제 1 인식정보(예컨대, 제 1 내지 4 식자재명 정보)를 획득할 수 있다.
이때, 인공지능 어플리케이션(211)은, 이미지 인식을 통해서 미감지된 인식정보(예컨대, 제 3 식자재명 정보)가 존재하는 경우, 수정 인터페이스를 기반으로 해당 인식정보를 보완하는 업데이트를 수행할 수 있다.
예를 들면, 인공지능 어플리케이션(211)은, 미감지된 인식정보를 획득하기 위하여, 해당 영상의 제 1 이미지 인식영역에 포함되는 오브젝트(예컨대, 제 3 식자재)와 웹 카메라 디바이스 간의 거리를 근접하게 조절하도록 유도하는 팝업창을 수정 인터페이스로서 출력할 수 있다.
다른 예로, 인공지능 어플리케이션(211)은, 미감지된 인식정보를 획득하기 위하여, 해당 영상의 제 1 이미지 인식영역에 포함되는 오브젝트(예컨대, 제 3 식자재)에 대한 인식정보를 직접 입력할 수 있는 사용자 수동 입력 인터페이스를 수정 인터페이스로서 제공할 수 있다.
도 11을 참조하면, 다른 일례에서 인공지능 어플리케이션(211)은, 제 1 이미지 인식영역에 대한 이미지 인식만으로는 제 1 이미지 인식영역의 제 1 객체인 '도마' 상의 제 1 식자재에 대한 식자재량(식자재 중량) 파악이 어려운 경우, 제 2 객체인 '저울'에 기반한 이미지 인식으로 식자재량을 획득할 수 있는 제 2 이미지 인식영역으로 제 1 식자재의 이동을 요청하는 팝업창을 수정 인터페이스로서 표시할 수 있다.
이때, 인공지능 어플리케이션(211)은, 제 2 이미지 인식영역의 제 2 객체인 '저울'에 제 1 식자재가 올려지면, 제 2 이미지 인식영역에 표시되는 상기 저울의 디스플레이(예컨대, 저울에 올려진 식자재에 대한 계량 결과를 그래픽 이미지로 출력)를 센싱하여 상기 제 1 식자재에 대한 중량 정보를 획득할 수 있다.
또는, 인공지능 어플리케이션(211)은, 제 1 이미지 인식영역에 대한 이미지 인식으로 제 1 이미지 인식영역의 제 1 식자재에 대한 식자재량(식자재 중량) 파악이 어려운 경우, 제 1 이미지 인식영역 상에서 이미지 인식을 기반으로 파악된 제 1 식자재의 식자재량(식자재 중량)에 대한 변경을 수행하는 사용자 수동 입력 인터페이스를 제공할 수 있다.
그리고 인공지능 어플리케이션(211)은, 제공된 인터페이스에 대한 사용자 입력을 기반으로 제 1 식자재에 대한 중량 정보를 획득할 수 있다.
또 다른 일례에서, 인공지능 어플리케이션(211)은, 제 3 이미지 인식영역에서 소금 또는 설탕과 같이 오브젝트의 형태에 기반한 이미지 인식만으로는 정확한 계량이 어려운 조미료인 제 5 식자재가 감지되는 경우, 제 2 객체인 '저울'에 기반한 이미지 인식으로 식자재량을 획득할 수 있는 제 2 이미지 인식영역으로 제 5 식자재의 이동을 요청하는 팝업창을 수정 인터페이스로서 표시할 수 있다.
이때, 인공지능 어플리케이션(211)은, 제 2 이미지 인식영역의 제 2 객체인 '저울'에 제 5 식자재가 올려지면, 제 2 이미지 인식영역에 표시되는 상기 저울의 디스플레이(예컨대, 저울에 올려진 식자재에 대한 계량 결과를 그래픽 이미지로 출력)를 센싱하여 상기 제 5 식자재에 대한 중량 정보를 획득할 수 있다.
또는, 도 12를 참조하면, 인공지능 어플리케이션(211)은, 제 3 이미지 인식영역에서 소금 또는 설탕과 같이 오브젝트의 형태에 기반한 이미지 인식만으로는 정확한 계량이 어려운 조미료인 제 5 식자재가 감지되는 경우, 특정 영역에서의 계량 스푼을 센싱하고 이를 기초로 식자재 중량을 획득하는 계량 영역을 설정하는 인터페이스를 제공할 수 있다.
자세히, 인공지능 어플리케이션(211)은, 실시간 영상 상에서 계량 영역을 설정할 수 있는 인터페이스를 제공할 수 있고, 제공된 계량 영역 설정 인터페이스에 기반한 사용자 입력(예컨대, 드래그 입력 등)을 기초로 계량 영역을 지정할 수 있다.
또한, 인공지능 어플리케이션(211)은, 지정된 계량 영역에 대한 이미지 인식을 통하여, 소정의 수용량을 가지는 제 1 계량 스푼에 담긴 상태로 센싱되는 제 5 식자재를 감지할 수 있다. 그리고 인공지능 어플리케이션(211)은, 센싱된 제 1 계량 스푼에 대한 정보(예컨대, 제 1 계량 스푼에 수용 가능한 질량정보 등)에 기반하여 제 5 식자재에 대한 중량 정보를 획득할 수 있다.
또는, 인공지능 어플리케이션(211)은, 지정된 계량 영역에 대한 이미지 인식을 기초로 소정의 수용량을 제공하는 제 1 계량 스푼에 대한 정보를 획득할 수 있고, 획득된 정보에 기반하여 제 3 이미지 인식영역에서 감지된 제 5 식자재에 대한 중량 정보를 결정할 수도 있다.
예를 들면, 인공지능 어플리케이션(211)은, 제 3 이미지 인식영역에 대한 이미지 인식을 기반으로 제 5 식자재를 감지한 경우, 지정된 계량 영역에 대한 이미지 인식을 수행할 수 있다. 그리고 인공지능 어플리케이션(211)은, 해당 계량 영역에 대한 이미지 인식을 기초로 소정의 수용량을 가지는 제 1 계량 스푼이 감지된 경우, 감지된 제 1 계량 스푼에 대한 정보를 기반으로 제 3 이미지 인식영역에서 감지된 제 5 식자재에 대한 중량을 설정할 수 있다.
이와 같이, 본 발명의 실시예에서 인공지능 어플리케이션(211)은, 영상 세팅 프로세스를 기반으로 설정된 이미지 인식영역별 인식정보를 편집할 수 있는 수정 인터페이스를 제공하여, 인공지능에 기반한 이미지 인식을 기초로 도출된 데이터를 사용자의 인지적 판단을 근거로 변경 및 설정하게 할 수 있고, 이를 통해 보다 완성도 높은 결과 데이터를 제공할 수 있다.
또한, 일 실시예에 따라서 인공지능 어플리케이션(211)은, 이미지 인식영역에 대한 이미지 영상을 실시간으로 분석하여, 상기 이미지 인식영역에서 감지되는 식자재의 사이즈(size)를 측정할 수 있고, 이를 통해 사용된 식자재량을 감지할 수 있다.
자세히, 인공지능 어플리케이션(211)은, 이미지 인식영역에 대한 이미지 분석을 통해 상기 이미지 인식영역에 포함되는 적어도 하나 이상의 식자재별 사이즈 변화량을 측정할 수 있다.
그리고 인공지능 어플리케이션(211)은, 측정된 식자재별 사이즈의 변화량에 기반하여 어떤 식자재가 어느 정도의 양만큼 사용되었는지 판단할 수 있다.
또한, 인공지능 어플리케이션(211)은, 식자재별 사이즈 변화량을 기초로 복수의 식자재 중 어떠한 식자재가 사용되었는지를 파악할 수도 있다.
예를 들면, 인공지능 어플리케이션(211)은, 제 1 이미지 인식영역에 제 1 식자재, 제 2 식자재 및 제 3 식자재가 존재하는 경우, 상기 제 1 이미지 인식영역에 대한 실시간 이미지 분석을 통하여 제 1 내지 3 식자재에 대한 사이즈(예컨대, 부피) 변화량을 획득할 수 있다.
그리고 인공지능 어플리케이션(211)은, 획득된 제 1 내지 3 식자재별 사이즈 변화량에 기반하여, 어떤 식자재가 어느 정도의 양만큼 사용되었는지를 판단할 수 있다.
예컨대, 인공지능 어플리케이션(211)은, 제 1 및 2 식자재에 대한 사이즈 변화량은 0이고, 제 3 식자재에 대한 사이즈 변화량이 마이너스(-) 즉, 제 3 식자재에 대한 사이즈가 감소한 경우, 사용된 식자재는 제 3 식자재이며, 사용된 식자재량은 제 3 식자재의 사이즈 감소량만큼이라고 판단할 수 있다.
또한, 실시예에 따라서 인공지능 어플리케이션(211)은, 사용된 식자재량에 따라서, 얼마만큼의 영양소가 첨가되는지를 측정할 수 있다.
자세히, 인공지능 어플리케이션(211)은, 측정된 식자재량과, 해당 이미지 인식영역에 대한 이미지 분석을 기반으로 획득된 식자재별 영양소 정보에 기초하여, 사용된 식자재로 제조되는 식품에 대한 총 영양소 정보를 획득할 수 있다.
이때, 예시적으로 인공지능 어플리케이션(211)은, 식품별 표준 칼로리 및/또는 표준 함유 영양소 정보 등에 기반하여, 상기 식자재별 영양소 정보를 획득할 수 있다.
예를 들어, 인공지능 어플리케이션(211)은, 제 1 이미지 인식영역에 제 1 식자재, 제 2 식자재 및 제 3 식자재가 존재하는 경우, 상기 제 1 이미지 인식영역에 대한 실시간 이미지 분석을 통하여 제 1 내지 3 식자재의 식품군(예컨대, 당근, 오이 또는 양파 등)을 검출할 수 있다. 그리고 인공지능 어플리케이션(211)은, 식품별 표준 함유 영양소 정보에 기반하여 검출된 제 1 내지 3 식자재에 대한 영양소 정보를 획득할 수 있다.
또한, 인공지능 어플리케이션(211)은, 획득된 제 1 내지 3 식자재에 대한 영양소 정보와, 상기 제 1 내지 3 식자재의 사이즈 변화량(즉, 사용된 식자재량)에 기반하여, 상기 제 1 내지 3 식자재를 사용한 식품의 총 영양소 정보를 획득할 수 있다.
이때, 실시예에서 인공지능 어플리케이션(211)은, 위와 같이 이미지 인식영역에 대한 이미지 분석에 기반하여, 적어도 하나 이상의 식자재에 대한 사이즈 변화량, 사용된 식자재량 및/또는 영양소 정보 등을 감지하는 일련의 프로세스를, 자동으로 수행할 수도 있고, 또는 수동으로 진행할 수도 있다.
또한, 실시예에 따른 인공지능 어플리케이션(211)은, 이미지 인식에 따른 인공지능 서비스 정보를 출력할 수 있다. (S109)
자세히, 인공지능 어플리케이션(211)은, 실시간 영상의 각 이미지 인식영역에 대한 이미지 분석을 기초로 획득된 인식정보를 표시하고, 수정 인터페이스에 기반하여 상기 인식정보를 업데이트 한 이후, 업데이트되어 최종적으로 확정된 인식정보에 기초하여 인공지능 서비스 정보를 출력할 수 있다.
여기서, 인공지능 서비스 정보란, 선택된 인공지능 서비스(실시예에서, 유아 영양관리 서비스)를 위한 이미지 인식을 기반으로 산출되어 최종적인 결과 데이터로서 제공되는 결과 정보일 수 있다.
실시예로, 인공지능 어플리케이션(211)은, 유아 영양관리 서비스를 위한 이미지 인식을 기반으로, 웹 카메라 디바이스의 실시간 영상으로부터 감지된 식자재에 대한 식자재명 및/또는 식자재량, 웹 카메라 디바이스의 실시간 영상으로부터 감지된 조미료에 대한 조미료명 및/또는 조미료량을 인식정보로서 획득할 수 있다.
그리고 인공지능 어플리케이션(211)은, 획득된 인식정보를 인공지능 서비스 정보로서 출력하여 제공할 수 있다.
또한, 인공지능 어플리케이션(211)은, 획득된 인식정보를 가공하여 생성한 가공정보를 기반으로 인공지능 서비스 정보를 제공할 수도 있다.
자세히, 인공지능 어플리케이션(211)은, 획득된 인식정보에 기초하여 감지된 식자재 및/또는 조미료를 포함하는 유아식에 대한 총 칼로리 및/또는 영양소 정보를 획득할 수 있다.
예를 들면, 인공지능 어플리케이션(211)은, 식품별 표준 칼로리 및/또는 표준 함유 영양소 정보 등에 기반하여, 실시간 영상으로부터 감지된 식자재 및/또는 조미료를 포함하는 유아식에 대한 총 칼로리 및/또는 영양소 정보를 획득할 수 있다.
그리고 인공지능 어플리케이션(211)은, 획득된 총 칼로리 및/또는 영양소 정보를 인공지능 서비스 정보로서 제공할 수 있다.
또한, 인공지능 어플리케이션(211)은, 획득된 인식정보에 기반하여, 해당 인식정보의 식자재 및/또는 조미료를 이용한 유아식의 영양소 균형 정보를 파악할 수 있다.
예를 들면, 인공지능 어플리케이션(211)은, 탄수화물, 단백질, 지방, 비타민 및 무기질을 포함하는 5대 영양소에 기준하여, 인식정보의 식자재 및/또는 조미료를 이용해 조리되는 유아식에 대한 영양소의 균형이 적절한지를 판단하는 영양소 균형 정보를 생성할 수 있다.
또한, 인공지능 어플리케이션(211)은, 생성된 영양소 균형 정보에 기반하여 영양소 피드백 정보(예컨대, 과다 영양소 및/또는 부족 영양소 정보 등)를 생성할 수도 있다.
그리고 인공지능 어플리케이션(211)은, 생성된 영양소 균형 정보 및/또는 영양소 피드백 정보를 인공지능 서비스 정보로서 출력해 제공할 수 있다.
또한, 인공지능 어플리케이션(211)은, 획득된 인식정보를 기반으로, 해당 인식정보의 식자재 및/또는 조미료를 이용한 유아식의 총 칼로리에 따른 섭취 가능 수 정보를 제공할 수 있다.
예를 들면, 인공지능 어플리케이션(211)은, 인식정보의 식자재 및/또는 조미료를 이용하여 조리된 유아식의 총 칼로리 정보에 기반하여, 3회분 또는 3인분 등으로 책정되는 섭취 가능 수 정보를 생성할 수 있고, 생성된 섭취 가능 수 정보를 인공지능 서비스 정보로서 제공할 수 있다.
이와 같이, 본 발명의 실시예에서 인공지능 어플리케이션(211)은, 선택된 인공지능 서비스에 최적화된 이미지 인식을 수행하여, 해당 인공지능 서비스로부터 얻고자 하는 결과 데이터를 획득하고, 획득된 데이터를 다양한 형태로 가공하여 제공할 수 있다.
한편, 일 실시예에 따라서 인공지능 어플리케이션(211)은, 획득된 인식정보에 기반하여 데일리(daily)로 사용되는 식자재를 추출할 수 있고, 이를 기반으로 데일리 식자재 리스트를 생성하여 제공할 수 있다.
자세히, 인공지능 어플리케이션(211)은, 유아 영양관리 서비스에 기반하여, 적어도 하나 이상의 식자재에 기반하여 제 1 식품이 완성되기까지의 일련의 프로세스를 제 1 주기(cycle)로 설정할 수 있다.
예를 들면, 인공지능 어플리케이션(211)은, 제 1 내지 3 식자재를 사용하여 제 1 식품을 완성하기까지의 일련의 프로세스를 제 1 주기로 설정할 수 있고, 상기 제 1 주기에 사용된 식자재의 식자재량 및/또는 총 영양소 정보가 한끼 식사에 섭취된 식자재량 및/또는 총 영양소라고 판단할 수 있다.
또한, 인공지능 어플리케이션(211)은, 동일한 방식으로 제 1, 2, 3, …, n 주기별 사용된 식자재량 및/또는 총 영양소 정보를 획득할 수 있다.
계속해서, 인공지능 어플리케이션(211)은, 각 주기별 사용된 식자재에 대한 정보에 기반하여, 데일리로 식품 제조에 사용되어 섭취되는 식자재를 추출할 수 있다.
예를 들면, 인공지능 어플리케이션(211)은, 제 1 내지 n 주기 각각에서 제 1 및 2 식자재가 검출된 경우, 상기 제 1 및 2 식자재를 데일리로 섭취되는 식자재로 판단할 수 있다.
또한, 실시예에서 인공지능 어플리케이션(211)은, 데일리로 섭취된다고 판단된 적어도 하나 이상의 식자재에 대한 식자재량 및/또는 영양소 정보에 기반하여, 데일리로 섭취되는 식자재에 대한 정보를 나타내는 데일리 식자재 리스트를 생성 및 표시할 수 있다.
이때, 인공지능 어플리케이션(211)은, 위와 같이 획득된 식자재에 대한 정보에 기초하여, 각 주기별(즉, 한끼 식사별) 섭취되는 식자재량 및/또는 영양소 정보를 획득할 수도 있다.
그리고 인공지능 어플리케이션(211)은, 획득된 각 주기별 섭취되는 식자재에 대한 정보를 그래픽 이미지(예컨대, 차트(chart) 및/또는 그래프(graph) 형태 등)로 출력할 수 있다.
또한, 실시예에서 인공지능 어플리케이션(211)은, 누적된 데일리 식자재에 대한 정보에 기반하여, 데일리 식단에서 부족한 영양소를 검출할 수 있다.
자세히, 예시적으로 인공지능 어플리케이션(211)은, 누적된 데일리 식자재 정보를 한국 표준 필요영양소 데이터와 비교할 수 있고, 이를 통해 표준적으로 섭취되어야 할 영양소 대비 부족한 영양소를 도출할 수 있다.
또한, 실시예에서 인공지능 어플리케이션(211)은, 검출된 부족 영양소 정보(예컨대, 부족 영양소명 및/또는 표준치 대비 부족량 등)를 그래픽 이미지로 출력하여 제공할 수 있다.
이때, 실시예에 따라서 인공지능 어플리케이션(211)은, 검출된 부족 영양소를 섭취할 수 있는 식품 및/또는 식자재에 대한 추천 정보를 제공할 수 있다.
자세히, 예시적으로 인공지능 어플리케이션(211)은, 식품별 표준 함유 영양소 정보 등에 기반하여, 상기 부족 영양소를 섭취 가능한 식품 및/또는 식자재를 도출할 수 있다.
그리고 인공지능 어플리케이션(211)은, 도출된 부족 영양소 섭취를 위한 식품 및/또는 식자재 정보를 출력하여, 데일리 식단에서 부족한 영양소를 충당하기에 적합한 식품 및/또는 식자재를 추천할 수 있다.
여기서, 실시예에 따른 인공지능 어플리케이션(211)은, 데일리 및/또는 각 주기별 섭취되는 식자재에 대한 정보를 그래픽 이미지(예컨대, 차트(chart) 및/또는 그래프(graph) 형태 등)로 출력할 시, 일간, 월간 또는 연간 그래프의 형태로 상기 식자재에 대한 정보를 표시할 수 있다.
자세히, 인공지능 어플리케이션(211)은, 데일리 및/또는 각 주기별 섭취되는 식자재에 대한 정보를 일간, 월간 또는 연간 그래프 중 적어도 어느 하나의 뷰 타입(View type)에 기반하여 표시할 수 있는 뷰 타입 설정 인터페이스를 제공할 수 있다.
그리고 인공지능 어플리케이션(211)은, 제공되는 뷰 타입 설정 인터페이스에 대한 사용자의 입력을 기반으로, 일간, 월간 또는 연간 그래프 중 적어도 어느 하나의 형태로 기준 뷰 타입을 설정할 수 있다.
또한, 인공지능 어플리케이션(211)은, 설정된 뷰 타입에 기준하여 상기 데일리 및/또는 각 주기별 섭취되는 식자재 정보를 표시하여 제공할 수 있다.
이상, 본 발명의 실시예에 따른 이미지 인식 기반 인공지능 서비스 제공방법 및 시스템은, 카메라 시스템 기반의 이미지 딥러닝을 통하여 다양한 목적의 인공지능 서비스를 제공함으로써, 서비스의 목적이나 분야의 제약없이 이미지 인식에 기반한 다양한 인공지능 서비스에 접목되어 해당 서비스 맞춤형 정보를 제공할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 이미지 인식 기반 인공지능 서비스 제공방법 및 시스템은, 이미지 인식을 기반으로 특정 인공지능 서비스를 위한 데이터를 도출 및 가공함으로써, 특정 인공지능 서비스에 대하여 산출된 데이터를 다양한 형식으로 제공할 수 있는 효과가 있다.
또한, 이상에서 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims (11)

  1. 컴퓨팅 디바이스의 프로세서에 의해 실행되는 인공지능 어플리케이션이 카메라 디바이스에서 촬영된 실시간 영상에 대한 이미지 인식을 기반으로 인공지능 서비스를 제공하는 방법으로서,
    상기 카메라 디바이스의 영상에 대한 영상 세팅(setting) 프로세스를 실행하는 단계;
    상기 영상 세팅 프로세스에 기반하여 상기 카메라 디바이스로부터 촬영된 실시간 영상의 이미지 인식영역을 설정하는 단계;
    상기 설정된 이미지 인식영역에 대한 제 1 이미지 분석을 기반으로, 상기 이미지 인식영역에 포함되어야 하는 객체를 지정한 정보인 객체 정보를 획득하는 단계;
    상기 획득된 객체 정보와 상기 설정된 이미지 인식영역에 대한 제 2 이미지 분석을 기반으로, 상기 설정된 이미지 인식영역으로부터 도출하고자 하는 데이터인 목적 데이터를 획득하는 단계; 및
    상기 객체 정보 및 상기 목적 데이터에 기반하여 인공지능 서비스 정보를 생성하고 제공하는 단계를 포함하는
    이미지 인식 기반 인공지능 서비스 제공방법.
  2. 제 1 항에 있어서,
    상기 영상 세팅 프로세스를 실행하는 단계는,
    상기 카메라 디바이스의 영상을 예시적으로 세팅한 정보인 세팅 예시정보를 표시하는 단계를 포함하는
    이미지 인식 기반 인공지능 서비스 제공방법.
  3. 제 2 항에 있어서,
    상기 세팅 예시정보는,
    상기 카메라 디바이스의 영상에 예시적으로 설정된 적어도 하나 이상의 상기 이미지 인식영역, 상기 이미지 인식영역에 대한 상기 이미지 인식을 통하여 제공하는 상기 목적 데이터 및 상기 이미지 인식영역이 포함하는 상기 객체 정보 중 어느 둘 이상에 대한 정보를 포함하는
    이미지 인식 기반 인공지능 서비스 제공방법.
  4. 제 3 항에 있어서,
    상기 이미지 인식영역을 설정하는 단계는, 상기 카메라 디바이스의 상기 실시간 영상을 표시하는 단계와, 상기 실시간 영상에서 적어도 하나 이상의 상기 이미지 인식영역을 설정하는 이미지 인식영역 설정 인터페이스를 제공하는 단계를 더 포함하는
    이미지 인식 기반 인공지능 서비스 제공방법.
  5. 제 4 항에 있어서,
    상기 이미지 인식영역 설정 인터페이스에 기초하여 설정된 상기 이미지 인식영역을 기반으로, 이미지 딥러닝 뉴럴 네트워크에 기반한 상기 제 1 이미지 분석 및 상기 제 2 이미지 분석을 수행하는 단계를 포함하는
    이미지 인식 기반 인공지능 서비스 제공방법.
  6. 제 4 항에 있어서,
    상기 이미지 인식영역 설정 인터페이스를 제공하는 단계는,
    상기 실시간 영상에 대한 적어도 하나 이상의 상기 이미지 인식영역, 상기 이미지 인식영역 각각에 대한 상기 목적 데이터 및 상기 객체 정보를 설정하는 인터페이스를 제공하는 단계를 포함하는
    이미지 인식 기반 인공지능 서비스 제공방법.
  7. 제 6 항에 있어서,
    상기 이미지 인식영역은,
    특정 목적 데이터를 획득하거나, 특정 객체를 위치시키는 일 영역을 상기 카메라 디바이스의 영상을 기반으로 설정한 정보인
    이미지 인식 기반 인공지능 서비스 제공방법.
  8. 제 1 항에 있어서,
    상기 설정된 이미지 인식영역에 대한 인식정보를 표시하는 단계를 더 포함하고,
    상기 인식정보는,
    상기 이미지 인식영역 각각으로부터 상기 이미지 인식을 통해 획득된 상기 목적 데이터를 나타내는 정보인
    이미지 인식 기반 인공지능 서비스 제공방법.
  9. 제 8 항에 있어서,
    상기 인식정보에 대한 편집을 수행하는 수정 인터페이스를 제공하는 단계를 더 포함하고,
    상기 수정 인터페이스는,
    상기 이미지 인식영역에서 상기 인식정보가 미감지된 경우 별도의 방식으로 상기 인식정보를 입력 또는 획득할 수 있는 인터페이스, 또는 상기 이미지 인식영역의 상기 인식정보에 대한 변경을 진행하는 인터페이스를 포함하는
    이미지 인식 기반 인공지능 서비스 제공방법.
  10. 제 8 항에 있어서,
    상기 인공지능 서비스 정보를 제공하는 단계는,
    상기 인식정보를 상기 인공지능 서비스 정보로 제공하는 단계 및 상기 인식정보를 가공하여 생성한 가공정보를 상기 인공지능 서비스 정보로 제공하는 단계 중 적어도 하나 이상의 단계를 포함하는
    이미지 인식 기반 인공지능 서비스 제공방법.
  11. 제 1 항에 있어서,
    상기 인공지능 서비스는 유아 영양관리 서비스를 포함하고,
    상기 인공지능 서비스 정보는, 상기 실시간 영상 내에서 조리된 유아식의 총 칼로리 및 영양소 정보를 포함하는
    이미지 인식 기반 인공지능 서비스 제공방법.
KR1020200018997A 2020-02-17 2020-02-17 이미지 인식 기반 인공지능 서비스 제공방법 및 시스템 KR20210104360A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200018997A KR20210104360A (ko) 2020-02-17 2020-02-17 이미지 인식 기반 인공지능 서비스 제공방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200018997A KR20210104360A (ko) 2020-02-17 2020-02-17 이미지 인식 기반 인공지능 서비스 제공방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20210104360A true KR20210104360A (ko) 2021-08-25

Family

ID=77495233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200018997A KR20210104360A (ko) 2020-02-17 2020-02-17 이미지 인식 기반 인공지능 서비스 제공방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20210104360A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102465368B1 (ko) 2021-11-16 2022-11-11 김민석 이미지 처리 장치 및 방법
US11544925B1 (en) 2021-09-01 2023-01-03 GOPIZZA Inc. Kitchen system with food preparation station
CN116030388A (zh) * 2022-12-30 2023-04-28 以萨技术股份有限公司 一种识别任务的处理方法、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101890989B1 (ko) 2016-09-02 2018-09-28 변규리 딥러닝 알고리즘을 이용한 사물인식을 사용하여 칼로리 측정 및 소비를 위한 o2o 방식의 칼로리 관리시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101890989B1 (ko) 2016-09-02 2018-09-28 변규리 딥러닝 알고리즘을 이용한 사물인식을 사용하여 칼로리 측정 및 소비를 위한 o2o 방식의 칼로리 관리시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11544925B1 (en) 2021-09-01 2023-01-03 GOPIZZA Inc. Kitchen system with food preparation station
KR102465368B1 (ko) 2021-11-16 2022-11-11 김민석 이미지 처리 장치 및 방법
CN116030388A (zh) * 2022-12-30 2023-04-28 以萨技术股份有限公司 一种识别任务的处理方法、电子设备及存储介质
CN116030388B (zh) * 2022-12-30 2023-08-11 以萨技术股份有限公司 一种识别任务的处理方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11734844B2 (en) 3D hand shape and pose estimation
US11151360B2 (en) Facial attribute recognition method, electronic device, and storage medium
US11798261B2 (en) Image face manipulation
US10803315B2 (en) Electronic device and method for processing information associated with food
US10832039B2 (en) Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium
US11450051B2 (en) Personalized avatar real-time motion capture
US11615592B2 (en) Side-by-side character animation from realtime 3D body motion capture
US11644890B2 (en) Image capturing in extended reality environments
US11763481B2 (en) Mirror-based augmented reality experience
US12002175B2 (en) Real-time motion transfer for prosthetic limbs
KR20210104360A (ko) 이미지 인식 기반 인공지능 서비스 제공방법 및 시스템
CN106095089A (zh) 一种获取感兴趣目标信息的方法
US11727605B2 (en) Method and system for creating virtual image based deep-learning
US11620829B2 (en) Visual matching with a messaging application
KR102665456B1 (ko) 2차원 이미지에 기초한 3차원 가상 의류 착용방법 및 그 시스템
US20230154084A1 (en) Messaging system with augmented reality makeup
US20220101032A1 (en) Method and system for product search based on deep-learning
US20240202941A1 (en) Method and system for augmented-reality object tracking
US20240028294A1 (en) Automatic Quantitative Food Intake Tracking
KR20240090542A (ko) 거울 기반 증강 현실 경험