KR102282520B1 - 이미지 종속 컨텐츠 통합 방법 - Google Patents

이미지 종속 컨텐츠 통합 방법 Download PDF

Info

Publication number
KR102282520B1
KR102282520B1 KR1020200136028A KR20200136028A KR102282520B1 KR 102282520 B1 KR102282520 B1 KR 102282520B1 KR 1020200136028 A KR1020200136028 A KR 1020200136028A KR 20200136028 A KR20200136028 A KR 20200136028A KR 102282520 B1 KR102282520 B1 KR 102282520B1
Authority
KR
South Korea
Prior art keywords
image
dependent content
processor
dependent
integrated
Prior art date
Application number
KR1020200136028A
Other languages
English (en)
Inventor
김판종
명배영
유성훈
Original Assignee
머지리티 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 머지리티 주식회사 filed Critical 머지리티 주식회사
Priority to PCT/KR2021/009288 priority Critical patent/WO2022045587A1/ko
Priority to CN202180005240.9A priority patent/CN114514516A/zh
Priority to US17/635,621 priority patent/US20220270224A1/en
Priority to JP2022512769A priority patent/JP7220361B2/ja
Priority to CA3190504A priority patent/CA3190504A1/en
Application granted granted Critical
Publication of KR102282520B1 publication Critical patent/KR102282520B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

컴퓨터 시스템에서 수행되는 이미지 종속 컨텐츠 통합 방법에 있어서,
상기 컴퓨터 시스템에 포함된 적어도 하나의 프로세서에서, 제1 오브젝트에 대한 제1 이미지 및 상기 제1 오브젝트에 종속되는 제1 종속 컨텐츠를 저장하는 제1 데이터 저장 단계, 상기 적어도 하나의 프로세서에서, 제2 오브젝트에 대한 제2 이미지 및 상기 제2 오브젝트에 종속되는 제2 종속 컨텐츠를 저장하는 제2 데이터 저장 단계, 상기 적어도 하나의 프로세서에서, 상기 제1 이미지에 대한 제1 오브젝트 특성 정보와 상기 제2 이미지에 대한 제2 오브젝트 특성 정보를 비교하여, 상기 제1 오브젝트와 상기 제2 오브젝트가 동일 오브젝트일 확률 지표를 산출하는 지표 산출 단계, 상기 확률 지표가 기준치 이상일 경우, 상기 적어도 하나의 프로세서에서, 상기 제1 이미지와 상기 제2 이미지를 통합 오브젝트에 대한 이미지로 저장하는 이미지 통합 단계 및 상기 확률 지표가 기준치 이상일 경우, 상기 적어도 하나의 프로세서에서, 상기 제1 종속 컨텐츠와 상기 제2 종속 컨텐츠를 상기 통합 오브젝트에 대한 종속 컨텐츠로 저장하는 종속 컨텐츠 통합 단계를 포함하는 이미지 종속 컨텐츠 통합 방법이다.

Description

이미지 종속 컨텐츠 통합 방법{Method of image dependent contents integration}
본 발명은 이미지 종속 컨텐츠 통합 방법에 관한 것으로, 보다 상세하게는 서로 다른 시점에 촬영된 증강현실 이미지 및 종속 컨텐츠를 하나로 통합하여 저장하는 방법에 관한 것이다.
고성능 카메라가 탑재된 스마트폰 및 태블릿 컴퓨터 등의 단말기가 보급됨에 따라 주변 사물에 대한 고화질의 사진 또는 영상 등의 이미지를 촬영하는 것이 용이해졌다. 또한, 이러한 이미지와 함께 그와 관련되는 컨텐츠를 인터넷을 통해 서버에 업로드하는 것도 또한 용이해졌다.
최근 이러한 단말기를 이용하여 사물을 일 방향에서만 촬영하는 것이 아니라, 단말기가 사물의 주변의 적어도 일부를 선회하면서 사물을 다 방향에서 촬영하는 방법이 지원된다. 이러한 방법을 이용할 경우, 사물에 대해 둘 이상의 시점에서의 정보가 취합되기 때문에 실제 사물의 형상 정보를 더욱 잘 표현할 수 있다는 장점이 있다.
이렇게 다 방향에서 촬영한 이미지 정보를 이용한 다양한 서비스가 시도되고 있다. 이러한 서비스가 원활하게 제공되기 위해서는 사물에 대해 최대한 많은 방향에서 촬영된 이미지가 필요하며, 사물을 어떠한 방향에서 촬영하더라도 동일한 사물로 인식하는 기능이 필요하다. 또한, 동일한 사물로 인식한 서로 다른 이미지가 포함하고 있는 다양한 컨텐츠를 서로 동일한 사물에 관련된 컨텐츠로 인식하는 기능이 필요하다.
따라서 이러한 과제를 해결하기 위한 방법에 대한 다양한 시도가 진행되고 있다.
대한민국 등록특허 제10-2153990호
본 발명이 해결하려는 과제는, 동일한 오브젝트를 촬영한 서로 다른 이미지 및 해당 이미지에 관한 종속 컨텐츠를 하나의 이미지 및 종속 컨텐츠로 통합하여 저장 및 관리하는 방법을 제공하는 것이다.
본 발명이 해결하려는 과제는, 어느 한 단말기에서 업로드한 이미지가 다른 단말기에서 업로드한 이미지와 동일한 오브젝트를 촬영한 것인 경우, 다른 단말기에서 업로드한 종속 컨텐츠를 그 단말기에 제공하는 방법을 제공하는 것이다.
상기 과제를 해결하기 위한 본 발명의 이미지 통합 방법은 컴퓨터 시스템에서 수행되는 이미지 통합 방법에 있어서, 상기 컴퓨터 시스템에 포함된 적어도 하나의 프로세서에서, 제1 오브젝트에 대한 제1 이미지 및 제2 오브젝트에 대한 제2 이미지를 저장하는 이미지 저장 단계, 상기 적어도 하나의 프로세서에서, 상기 제1 이미지 및 상기 제2 이미지로부터 각각 오브젝트의 외형 및 외면에 대한 정보 중 적어도 하나에 관한 제1 오브젝트 특성 정보 및 제2 오브젝트 특성 정보를 생성하는 오브젝트 특성 정보 생성 단계, 상기 적어도 하나의 프로세서에서, 상기 제1 오브젝트 특성 정보 및 상기 제2 오브젝트 특성 정보를 비교하여 상기 제1 오브젝트와 상기 제2 오브젝트가 동일 오브젝트일 확률 지표를 산출하는 지표 산출 단계, 및 상기 확률 지표가 기준치 이상일 경우, 상기 적어도 하나의 프로세서에서, 상기 제1 이미지와 상기 제2 이미지를 동일 오브젝트에 대한 이미지로 통합하여 저장하는 이미지 통합 단계를 포함하는 이미지 통합 방법이다.
본 발명의 일 실시예에 따른 이미지 통합 방법은, 상기 제1 이미지 및 상기 제2 이미지는, 증강현실 이미지인 이미지 통합 방법일 수 있다.
본 발명의 일 실시예에 따른 이미지 통합 방법은, 상기 오브젝트 특성 정보 생성 단계는, 상기 오브젝트의 외형을 분석하여 상기 오브젝트의 형태가 상기 컴퓨터 시스템에 미리 저장된 복수의 레퍼런스 외형 중 어느 하나를 선택하고, 상기 오브젝트 특성 정보는 상기 선택된 어느 하나의 레퍼런스 외형에 관한 정보를 포함하는 이미지 통합 방법일 수 있다.
본 발명의 일 실시예에 따른 이미지 통합 방법은, 상기 오브젝트 특성 정보 생성 단계는, 상기 오브젝트의 외면을 수직 방향의 구분선에 의해 구분되고, 수평 방향으로 나열되는 복수의 부분 이미지로 구분하는 것을 특징으로 하고, 상기 오브젝트 특성 정보는 상기 부분 이미지의 패턴, 색상 및 상기 부분 이미지에 포함된 텍스트 중 어느 하나의 정보를 포함하는 이미지 통합 방법일 수 있다.
본 발명의 일 실시예에 따른 이미지 통합 방법은, 상기 오브젝트 특성 정보 생성 단계는, 상기 제1 이미지 또는 상기 제2 이미지로부터 상기 오브젝트의 촬영 높이를 인식하는 높이 인식 단계, 및 상기 촬영 높이가 미리 정해진 기준 높이가 되도록 상기 제1 이미지 또는 상기 제2 이미지를 보정하는 높이 보정 단계를 더 포함하는 이미지 통합 방법일 수 있다.
본 발명의 일 실시예에 따른 이미지 통합 방법은, 상기 지표 산출 단계는, 상기 제1 오브젝트 특성 정보 및 상기 제2 오브젝트 특성 정보로부터 수직 방향으로 구분선으로 구분되는 수직 부분 이미지를 식별하는 수직 부분 이미지 식별 단계, 및 상기 제1 오브젝트 특성 정보와 상기 제2 오브젝트 특성 정보 각각의 수직 부분 이미지를 비교하여 중첩 영역에 해당하는 적어도 하나의 수직 부분 이미지를 선정하는 중첩 영역 선정 단계를 포함하는 이미지 통합 방법일 수 있다.
본 발명의 일 실시예에 따른 이미지 통합 방법은, 상기 지표 산출 단계에서, 상기 확률 지표는, 상기 제1 오브젝트 특성 정보와 상기 제2 오브젝트 특성 정보 중 상기 중첩 영역에 해당하는 적어도 하나의 수직 부분 이미지의 연관성 여부에 기초하여 산출되는 것을 특징으로 하는 이미지 통합 방법일 수 있다.
본 발명의 일 실시예에 따른 이미지 통합 방법은, 상기 중첩 영역에 해당하는 적어도 하나의 수직 부분 이미지는 서로 연속되는 복수의 수직 부분 이미지인 이미지 통합 방법일 수 있다.
본 발명의 일 실시예에 따른 이미지 통합 방법은, 상기 이미지 저장 단계는, 상기 제1 이미지를 저장하는 제1 이미지 저장 단계, 및 상기 제2 이미지를 저장하는 제2 이미지 저장 단계를 포함하고, 상기 오브젝트 특성 정보 생성 단계는, 상기 제1 오브젝트 특성 정보를 생성하는 제1 오브젝트 특성 정보 생성 단계, 및 상기 제2 오브젝트 특성 정보를 생성하는 제2 오브젝트 특성 정보 생성 단계를 포함하고, 상기 제2 이미지 저장 단계는 상기 제1 오브젝트 특성 정보 생성 단계 이후에 수행되는 것을 특징으로 하고, 상기 확률 지표가 기준치 이상일 경우, 상기 적어도 하나의 프로세서에서, 상기 제2 이미지에 추가되는 추가 제2 이미지를 저장하는 추가 제2 이미지 저장 단계를 더 포함하는 이미지 통합 방법일 수 있다.
본 발명의 일 실시예에 따른 이미지 통합 방법은, 상기 제2 이미지 및 상기 추가 제2 이미지는 상기 컴퓨터 시스템과 네트워크를 통해 연결된 하나의 단말기로부터 촬영된 이미지 통합 방법일 수 있다.
본 발명의 일 실시예에 따른 이미지 통합 방법은, 상기 확률 지표가 기준치 이상일 경우, 상기 적어도 하나의 프로세서에서, 상기 컴퓨터 시스템과 네트워크를 통해 연결된 단말기에 상기 추가 제2 이미지의 촬영 및 전송을 지원하는 추가 제2 이미지 등록 모드를 제공하는 단계를 더 포함하는 이미지 통합 방법일 수 있다.
본 발명의 일 실시예에 따른 이미지 통합 방법은, 상기 추가 제2 이미지 등록 모드를 제공하는 단계에서, 상기 적어도 하나의 프로세서는, 상기 단말기에서 상기 제2 이미지에 대응되는 부분과 상기 추가 제2 이미지에 대응되는 부분이 구분되게 표시되도록 상기 추가 제2 이미지 등록 모드를 제공하는 이미지 통합 방법일 수 있다.
본 발명의 일 실시예에 따른 이미지 통합 방법은, 상기 추가 제2 이미지 등록 모드를 제공하는 단계에서, 상기 제2 이미지에 대응되는 부분과 상기 추가 제2 이미지에 대응되는 부분은 상기 제2 오브젝트를 둘러싸는 가상의 원 형태로 표시되고, 상기 제2 이미지에 대응되는 부분과 상기 추가 제2 이미지에 대응되는 부분은 서로 다른 색상으로 표시되는 이미지 통합 방법일 수 있다.
본 발명의 일 실시예에 따른 컴퓨터 시스템은, 컴퓨터 시스템에 있어서, 메모리, 및 상기 메모리와 연결되고, 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 제1 오브젝트에 대한 제1 이미지 및 제2 오브젝트에 대한 제2 이미지를 저장하는 이미지 저장부, 상기 제1 이미지 및 상기 제2 이미지로부터 각각 오브젝트의 외형 및 외면에 대한 정보 중 적어도 하나에 관한 제1 오브젝트 특성 정보 및 제2 오브젝트 특성 정보를 생성하는 오브젝트 특성 정보 생성부, 상기 제1 오브젝트 특성 정보 및 상기 제2 오브젝트 특성 정보를 비교하여 상기 제1 오브젝트와 상기 제2 오브젝트가 동일 오브젝트일 확률 지표를 산출하는 지표 산출부, 및 상기 확률 지표가 기준치 이상일 경우, 상기 제1 이미지와 상기 제2 이미지를 동일 오브젝트에 대한 이미지로 통합하여 저장하는 이미지 통합부를 포함하는 컴퓨터 시스템일 수 있다.
본 발명의 일 실시예에 따른 이미지 종속 컨텐츠 통합 방법은 동일한 오브젝트를 촬영한 서로 다른 이미지 및 이미지에 관한 종속 컨텐츠를 하나의 이미지 및 종속 컨텐츠로 통합하여 저장 및 관리할 수 있다.
또한, 본 발명의 일 실시예에 따른 이미지 종속 컨텐츠 통합 방법은 어느 한 단말기에서 업로드한 이미지가 다른 단말기에서 업로드한 이미지와 동일한 오브젝트를 촬영한 것인 경우, 다른 단말기에서 업로드한 종속 컨텐츠를 그 단말기에 제공할 수 있다.
도 1은 본 발명의 이미지 통합 방법에 수행되는 컴퓨터 시스템의 연결 관계를 도시한 도면이다.
도 2는 본 발명의 이미지 통합 방법을 수행하는 컴퓨터 시스템에 대한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 이미지 통합 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따른 제1 이미지, 제2 이미지, 제1 종속 컨텐츠 및 제2 종속 컨텐츠의 내용을 도식적으로 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 프로세서가 오브젝트로부터 오브젝트 특성 정보를 생성하는 예시적인 방법을 간략하게 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 부분 이미지를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 지표 산출 단계에 대한 예시를 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 이미지 통합 단계에 대한 예시를 나타내는 도면이다.
도 9는 본 발명의 다른 실시예에 따른 이미지 통합 방법의 순서도이다.
도 10은 본 발명의 다른 실시예에 따른 제3 이미지 및 제3 종속 컨텐츠의 내용을 도식적으로 도시한 도면이다.
도 11 및 도 12는 본발명의 다른 실시예에 따른 추가 이미지 통합 단계에 대한 예시를 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 발명을 설명하는데 있어서, 해당 분야에 이미 공지된 기술 또는 구성에 대한 구체적인 설명을 부가하는 것이 본 발명의 요지를 불분명하게 할 수 있다고 판단되는 경우에는 상세한 설명에서 이를 일부 생략하도록 한다. 또한, 본 명세서에서 사용되는 용어들은 본 발명의 실시예들을 적절히 표현하기 위해 사용된 용어들로서, 이는 해당 분야의 관련된 사람 또는 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
여기서 사용되는 전문용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 '포함하는'의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 군의 존재나 부가를 제외시키는 것은 아니다.
이하, 첨부된 도 1 내지 도 12를 참조하여 본 발명의 일 실시예에 따른 이미지 종속 컨텐츠 통합 방법에 대해서 설명하도록 한다.
도 1은 본 발명의 이미지 통합 방법에 수행되는 컴퓨터 시스템(10)의 연결 관계를 간단히 도시한 도면이다.
도 1을 참조하면, 본 발명의 컴퓨터 시스템(10)은 네트워크(20)와 연결된 서버로 구성될 수 있다. 컴퓨터 시스템(10)은 네트워크(20)를 통해 복수의 단말기와 연결될 수 있다.
여기서, 네트워크(20)의 통신 방식은 제한되지 않으며, 각 구성요소간 연결이 동일한 네트워크 방식으로 연결되지 않을 수도 있다. 네트워크(20)는, 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망, 위성망 등)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(20)는, 객체와 객체가 네트워킹 할 수 있는 모든 통신 방법을 포함할 수 있으며, 유선 통신, 무선 통신, 3G, 4G, 5G, 혹은 그 이외의 방법으로 제한되지 않는다. 예를 들어, 유선 및/또는 네트워크(20)는 LAN(Local Area Network), MAN(Metropolitan Area Network), GSM(Global System for Mobile Network), EDGE(Enhanced Data GSM Environment), HSDPA(High Speed Downlink Packet Access), W-CDMA(Wideband Code Division Multiple Access), CDMA(Code Division Multiple Access), TDMA(Time Division Multiple Access), 블루투스(Bluetooth), 지그비(Zigbee), 와이-파이(Wi-Fi), VoIP(Voice over Internet Protocol), LTE Advanced, IEEE802.16m, WirelessMAN-Advanced, HSPA+, 3GPP Long Term Evolution (LTE), Mobile WiMAX (IEEE 802.16e), UMB (formerly EV-DO Rev. C), Flash-OFDM, iBurst and MBWA (IEEE 802.20) systems, HIPERMAN, Beam-Division Multiple Access (BDMA), Wi-MAX(World Interoperability for Microwave Access) 및 초음파 활용 통신으로 이루어진 군으로부터 선택되는 하나 이상의 통신 방법에 의한 통신 네트워크를 지칭할 수 있으나, 이에 한정되는 것은 아니다.
단말기는 이미지를 촬영할 수 있는 카메라 장치가 부가된 것이 바람직하다. 단말기는 휴대폰, 스마트폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display) 등이 포함될 수 있다.
단말기는 통신 모듈을 포함할 수 있으며, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.
도 2는 본 발명의 이미지 통합 방법을 수행하는 컴퓨터 시스템(10)에 대한 블록도이다.
도 2를 참조하면, 컴퓨터 시스템(10)은 메모리(100) 및 프로세서(200)를 포함한다. 또한, 컴퓨터는 네트워크(20)와 연결될 수 있는 통신모듈(50)을 포함할 수 있다.
여기서, 프로세서(200)는 메모리(100)와 연결되고, 명령들을 실행하도록 구성된다. 명령이란 메모리(100)에 포함된 컴퓨터 판독 가능한 명령을 의미한다.
프로세서(200)는 이미지 저장부(210), 지표 산출부(220) 및 통합 저장부(230)를 포함한다.
메모리(100)에는 이미지들 및 이미지들에 대한 오브젝트 특성 정보들을 포함하는 데이터 베이스가 저장될 수 있다.
상술한 프로세서(200)의 각 부분에 대해서는 이하, 이미지 통합 방법을 설명한 후에 설명하도록 한다.
도 3은 본 발명의 이미지 종속 컨텐츠 통합 방법의 일 실시예에 대한 순서도를 도시한 것이다.
도 3을 참조하면, 본 발명의 이미지 종속 컨텐츠 통합 방법은 제1 데이터 저장 단계, 제2 데이터 저장 단계, 지표 산출 단계, 이미지 통합 단계, 종속 컨텐츠 통합 단계 및 종속 컨텐츠 제공 단계를 포함한다. 상술한 각 단계들은 컴퓨터 시스템(10)에서 수행된다. 구체적으로, 상술한 각 단계들은 컴퓨터 시스템(10)에 포함된 적어도 하나의 프로세서(200)에서 수행된다.
상술한 각 단계들은 특별한 인과관계에 의해 나열된 순서에 따라 수행되어야 하는 경우를 제외하고, 나열된 순서와 상관없이 수행될 수 있다.
이하, 제1 데이터 저장 단계 및 제2 데이터 저장 단계에 대해 함께 설명하도록 한다.
제1 데이터 저장 단계 및 제2 데이터 저장 단계를 설명하는데 있어서, 도 4를 참조하여 설명하도록 한다.
제1 데이터 저장 단계는 컴퓨터 시스템(10)에 포함된 적어도 하나의 프로세서(200)에서, 제1 오브젝트(300)에 대한 제1 이미지(310) 및 제1 오브젝트(300)에 종속되는 제1 종속 컨텐츠(320)를 저장하는 단계이다.
또한, 제2 데이터 저장 단계는 컴퓨터 시스템(10)에 포함된 적어도 하나의 프로세서(200)에서, 제2 오브젝트(400)에 대한 제2 이미지(410) 및 제2 오브젝트(400)에 종속되는 제2 종속 컨텐츠(420)를 저장하는 단계이다.
여기서, 제1 데이터 저장 단계와 제2 데이터 저장 단계는 서로 시간적으로 이격되어 수행될 수 있다. 또한, 제1 데이터는 제1 단말기(30)로부터 수신한 데이터이고, 제2 데이터는 제2 단말기(40)로부터 수신한 데이터일 수 있다. 또한, 제1 단말기(30)와 제2 단말기(40)는 동일한 단말기이거나 서로 다른 단말기일 수 있다.
여기서, 종속 컨텐츠는 오브젝트에 대한 리뷰 또는 구매링크를 의미할 수 있다. 즉, 제1 종속 컨텐츠(320)는 제1 오브젝트(300)에 대한 리뷰 또는 구매링크를 의미하며, 제2 종속 컨텐츠(420)는 제2 오브젝트(400)에 대한 리뷰 또는 구매링크를 의미할 수 있다.
컴퓨터 시스템(10)은 네트워크(20)를 통해 적어도 하나의 단말기로부터 촬영한 이미지 및 종속 컨텐츠를 수신한다. 컴퓨터 시스템(10)은 수신한 이미지와 종속 컨텐츠를 메모리(100)에 저장한다.
여기서, 이미지는 복수의 이미지가 있을 수 있다. 설명의 편의를 위해 이미지는 제1 이미지(310) 및 제2 이미지(410)가 있다고 가정하여 설명하도록 한다. 또한, 제1 이미지(310)는 제1 오브젝트(300)에 대한 이미지이고, 제2 이미지(410)는 제2 오브젝트(400)에 대한 이미지라고 가정하여 설명하도록 한다.
여기서, 이미지는 증강현실(augmented reality, AR) 이미지일 수 있다. 또한, 이미지는 일정 범위에서 오브젝트의 주변을 선회하면서 촬영되어 생성된 이미지일 수 있다. 이미지는 오브젝트의 주변 전체 범위(360°)를 촬영한 것일 수도 있지만, 이하에서는 일부 범위(360°미만)를 촬영한 것임을 가정하여 설명하도록 한다.
여기서, 종속 컨텐츠는 복수의 종속 컨텐츠가 있을 수 있다. 설명의 편의를 위해 종속 컨텐츠는 제1 종속 컨텐츠(320) 및 제2 종속 컨텐츠(420)가 있다고 가정하여 설명하도록 한다. 또한, 제1 종속 컨텐츠(320)는 제1 오브젝트(300)에 대한 종속 컨텐츠이고, 제2 종속 컨텐츠(420)는 제2 오브젝트(400)에 대한 종속 컨텐츠라고 가정하여 설명하도록 한다.
도 4는 제1 이미지(310), 제1 종속 컨텐츠(320), 제2 이미지(410) 및 제2 종속 컨텐츠(420)의 내용을 도식적으로 도시한 도면이다.
도 4를 참조하여, 제1 이미지(310), 제1 종속 컨텐츠(320), 제2 이미지(410) 및 제2 종속 컨텐츠(420)의 내용에 간단하게 설명하도록 한다.
상술한 것과 같이, 제1 이미지(310) 및 제1 종속 컨텐츠(320)는 제1 오브젝트(300)에 대한 이미지 및 종속 컨텐츠이고, 제2 이미지(410) 및 제2 종속 컨텐츠(420)는 제2 오브젝트(400)에 대한 이미지 및 종속 컨텐츠이다. 그런데 제1 오브젝트(300)와 제2 오브젝트(400)는 동일한 오브젝트일 수 있다. 그러나 제1 이미지(310)와 제2 이미지(410)가 각각 서로 다른 주체에 의해, 오브젝트를 기준으로 서로 다른 시점에서 다른 부분이 촬영된 것이라면 컴퓨터 시스템(10)에서는 제1 오브젝트(300)와 제2 오브젝트(400)가 동일한 오브젝트인지 즉시 파악하기 어려울 수 있다.
여기서, 제1 오브젝트(300)와 제2 오브젝트(400)가 동일한 오브젝트라고 함은, 물리적으로 동일한 오브젝트라는 것뿐만 아니라, 물리적으로는 다른 오브젝트이지만 외형 및 외면 등의 특징이 동일한, 즉, 동일한 종류의 오브젝트라는 것도 포함한다.
도 4에 도시된 것과 같이, 제1 이미지(310)는 제1 오브젝트(300)를 임의의 특정 기준점을 기준으로 0°~ 90°의 범위를 촬영한 이미지일 수 있다. 그리고 제2 이미지(410)는 제1 오브젝트(300)와 동일한 제2 오브젝트(400)를 동일한 임의의 특정 기준점을 기준으로 60°~ 120°의 범위를 촬영한 이미지일 수 있다.
마찬가지로, 제1 종속 컨텐츠(320)는 제1 오브젝트(300)에 대한 제1 리뷰(예를 들어, "맛있어요")일 수 있다. 그리고 제2 종속 컨텐츠(420)는 제1 오브젝트(300)와 동일한 제1 오브젝트(300)에 대한 제2 리뷰(예를 들어, "선물 받았어요")일 수 있다. 여기서, 제1 리뷰 및 제2 리뷰는 동일한 단말기에 의해 입력된 리뷰이거나 서로 다른 단말기에 의해 입력된 리뷰일 수 있다.
이하, 지표 산출 단계에 대해 설명하도록 한다. 지표 산출 단계에는 수행하기 위해서는 제1 오브젝트(300) 특성 정보와 제2 오브젝트(400) 특성 정보를 비교하기 위해서 오브젝트 특성 정보를 생성해야 한다.
오브젝트 특성 정보 생성에 관해 설명하는데 있어서, 도 5 내지 도 7을 참조하여 설명하도록 한다.
오브젝트 특성 정보는 컴퓨터 시스템(10)에 포함된 적어도 하나의 프로세서(200)에서, 제1 이미지(310) 및 제2 이미지(410)로부터 각각 오브젝트의 외형 및 외면에 대한 정보 중 적어도 하나에 관한 제1 오브젝트(300) 특성 정보 및 제2 오브젝트(400) 특성 정보를 의미한다.
오브젝트 특성 정보는 프로세서(200)가 이미지로부터 오브젝트의 외형 및 외면에 대한 정보 중 적어도 하나에 관한 특성을 추출한 정보를 의미한다.
오브젝트 특성 정보는 제1 오브젝트(300) 특성 정보와 제2 오브젝트(400) 특성 정보가 있을 수 있다. 제1 오브젝트(300) 특성 정보는 제1 이미지(310)로부터 추출한 제1 오브젝트(300)의 외형 및 외면 중 적어도 어느 하나에 관한 정보이다. 제2 오브젝트(400) 특성 정보는 제2 이미지(410)로부터 추출한 제2 오브젝트(400)의 외형 및 외면 중 적어도 어느 하나에 관한 정보이다.
오브젝트 특성 정보는 세부적으로, 제1 오브젝트(300) 특성 정보를 생성하고, 제2 오브젝트(400) 특성 정보를 생성하는 제2 오브젝트(400) 특성 정보를 생성한다. 그리고 제1 오브젝트(300) 특성 정보와 제2 오브젝트(400) 특성 정보는 서로 시간적으로 이격되어 생성될 수 있다.
구체적으로, 먼저 제1 데이터 저장 단계가 수행되고, 제1 오브젝트(300) 특성 정보가 생성될 수 있다. 그 후에 제2 데이터 저장 단계가 수행되고, 제2 오브젝트(400) 특성 정보가 수행될 수 있다.
도 5는 프로세서(200)가 오브젝트로부터 오브젝트 특성 정보를 생성하는 일 예시적인 방법을 간략하게 도시한 것이다.
도 5를 참조하면, 오브젝트 특성 정보는 부분 이미지(330)의 형태, 색상, 길이, 간격 및 비율 중 어느 하나의 정보를 포함할 수 있다.
여기서 부분 이미지(330)란 오브젝트의 외형을 일 방향의 구분선에 의해 구분한 이미지를 의미한다. 도 5에 도시된 것과 같이, 부분 이미지(330)는 오브젝트의 외형을 수평 방향의 구분선에 의해 구분되고, 수직 방향으로 나열되는 이미지일 수 있다. 하나의 이미지는 이러한 복수의 부분 이미지(330)로 이뤄질 수 있다.
이러한 부분 이미지(330)는 시각적인 특징에 따라 구분될 수 있다. 예를 들어, 도 5에 도시된 것과 같이, 하나의 오브젝트는 외곽선이 절곡되는 것을 기준으로 복수의 구분선에 의해 구분될 수 있다.
이러한 부분 이미지(330)는 다양한 시각적인 특징을 가질수 있다. 예를 들어, 도 5에 도시된 것과 같이, 하나의 부분 이미지(330)는 고유의 형태, 색상, 길이, 간격 및 비율 등의 특징을 가질 수 있다. 구체적으로 도 5에 도시된 부분 이미지(330)들 중 하나의 부분 이미지(330)는 수직 방향의 길이가 h1이고, 색상은 연한 황금색이고, 단면의 모양은 아래가 넓은 사다리꼴 형태라는 특징을 가질 수 있다.
도 6 및 도 7은 프로세서(200)가 오브젝트로부터 오브젝트 특성 정보를 생성하는 다른 일 예시적인 방법을 간략하게 도시한 것이다.
도 6을 참조하면, 오브젝트 특성 정보는 부분 이미지(330)의 패턴, 색상 및 부분 이미지(330)에 포함된 텍스트 중 어느 하나의 정보를 포함할 수 있다.
여기서 부분 이미지(330)란 오브젝트의 외면을 일 방향의 구분선에 의해 구분한 이미지를 의미한다. 도 6에 도시된 것과 같이, 부분 이미지(330)는 오브젝트의 외면을 수직 방향의 구분선에 의해 구분되고, 수평 방향으로 나열되는 이미지일 수 있다. 역시, 하나의 이미지는 이러한 복수의 부분 이미지(330)로 이뤄질 수 있다.
이러한 부분 이미지(330)는 오브젝트의 중심을 기준으로 카메라가 이동하는 각도에 따라 구분될 수 있다. 예를 들어 도 7에 도시된 것과 같이, 부분 이미지(330)는 촬영 각도에 따라 10°범위로 구분될 수 있다.
이러한 부분 이미지(330)는 다양한 시각적인 특징을 가질 수 있다. 예를 들어, 도 6에 도시된 것과 같이, 하나의 부분 이미지(330)는 고유의 패턴 및 색상 등의 특징을 가질 수 있다. 또한, 하나의 부분 이미지(330)는 이에 포함된 텍스트에 대한 특징을 가질 수 있다. 구체적으로 도 6에 도시된 부분 이미지(330)들 중 하나의 부분 이미지(330)는 흰색 바탕에 하트 2개의 이미지가 있고, B라는 텍스트가 기재되어 있다는 특징을 가질 수 있다.
이하, 지표 산출 단계에 대해 설명하도록 한다.
지표 산출 단계를 설명하는데 있어서, 도 7을 참조하여 설명하도록 한다.
지표 단출 단계는 컴퓨터 시스템(10)에 포함된 적어도 하나의 프로세서(200)에서, 제1 오브젝트(300) 특성 정보 및 제2 오브젝트(400) 특성 정보를 비교하여 제1 오브젝트(300)와 제2 오브젝트(400)가 동일 오브젝트일 확률 지표를 산출하는 단계이다.
지표 산출 단계는, 수직 부분 이미지(350) 식별 단계 및 중첩 영역 선정 단계를 포함할 수 있다.
수직 부분 이미지(350) 식별 단계는 제1 오브젝트(300) 특성 정보 및 제2 오브젝트(400) 특성 정보로부터 수직 방향으로 구분선으로 구분되는 수직 부분 이미지(350)를 식별하는 단계이다. 이러한 수직 부분 이미지(350)는 오브젝트의 중심을 기준으로 카메라가 이동하는 각도에 따라 구분될 수 있다. 예를 들어 도 7에 도시된 것과 같이, 수직 부분 이미지(350)는 촬영 각도에 따라 10°범위로 구분될 수 있다.
중첩 영역 선정 단계는 제1 오브젝트(300) 특성 정보와 제2 오브젝트(400) 특성 정보 각각의 수직 부분 이미지(350)를 비교하여 중첩 영역에 해당하는 적어도 하나의 수직 부분 이미지(350)를 선정하는 단계이다. 예를 들어, 도 7에 도시된 것을 참조하면, 오브젝트를 임의의 특정 기준점을 기준으로 60°~ 90°의 범위에 해당하는 10°범위 3개의 수직 부분 이미지(350)가 중첩 영역에 해당할 수 있다.
이러한 중첩 영역은 하나 또는 복수의 수직 부분 이미지(350)로 이뤄질 수 있다. 중첩 영역이 복수의 수직 부분 이미지(350)로 이뤄질 경우, 복수의 수직 부분 이미지(350)들은 서로 연속되는 것일 수 있다. 도 7에 도시된 것을 예를 들어 설명하면, 3개의 수직 부분 이미지(350)는 60°~ 90°의 범위에서 서로 연속되는 것이다.
중첩 영역에 해당하는지 여부는 각 수직 부분 이미지(350)의 외형 및 외면의 정보를 종합적으로 비교하여 판단될 수 있다.
제1 오브젝트(300)와 제2 오브젝트(400)가 동일 오브젝트일 확률 지표는 제1 오브젝트(300) 특성 정보와 제2 오브젝트(400) 특성 정보 중 중첩 영역에 해당하는 적어도 하나의 수직 부분 이미지(350)의 연관성 여부에 기초하여 산출되는 것일 수 있다. 즉, 제1 오브젝트(300) 특성 정보 중 중첩 영역에 해당하지 않는 0°~ 60°의 범위에 해당하는 수직 부분 이미지(350)와 제2 오브젝트(400) 특성 정보 중 중첩 영역에 해당하지 않는 90°~ 120°의 범위에 해당하는 수직 부분 이미지(350)는 확률 지표를 산출하는데 기초가 되지 않는 것이 바람직하다.
이하, 이미지 통합 단계에 대해 설명하도록 한다.
이미지 통합 단계를 설명하는데 있어서, 도 8을 참조하여 설명하도록 한다.
이미지 통합 단계는 컴퓨터 시스템(10)에 포함된 적어도 하나의 프로세서(200)에서, 제1 이미지(310)와 제2 이미지(410)를 동일 오브젝트에 대한 이미지로 통합하여 저장하는 단계이다. 이러한 이미지 통합 단계는 지표 산출 단계에서의 확률 지표가 미리 정해진 기준치 이상일 경우 수행된다.
도 8을 참조하면, 확률 지표가 미리 정해진 기준치 이상일 경우, 프로세서(200)는 제1 이미지(310)와 제2 이미지(410)를 더 이상 제1 오브젝트(300)와 제2 오브젝트(400) 각각에 대한 이미지로 파악하여 저장 및 관리하지 않고, 통합 오브젝트에 대한 통합 이미지로 통합하여 저장한다.
이하, 종속 컨텐츠 통합 단계에 대해 설명하도록 한다.
종속 컨텐츠 통합 단계를 설명하는데 있어서, 계속 도 8을 참조하여 설명하도록 한다.
종속 컨텐츠 통합 단계는 컴퓨터 시스템(10)에 포함된 적어도 하나의 프로세서(200)에서, 제1 종속 컨텐츠(320)와 제2 종속 컨텐츠(420)를 동일 오브젝트에 대한 종속 컨텐츠로 통합하여 저장하는 단계이다. 이러한 종속 컨텐츠 통합 단계는 지표 산출 단계에서의 확률 지표가 미리 정해진 기준치 이상일 경우 수행된다.
도 8을 참조하면, 확률 지표가 미리 정해진 기준치 이상일 경우, 프로세서(200)는 제1 종속 컨텐츠(320)와 제2 종속 컨텐츠(420)를 더 이상 제1 오브젝트(300)와 제2 오브젝트(400) 각각에 대한 종속 컨텐츠로 파악하여 저장 및 관리하지 않고, 통합 오브젝트에 대한 통합 종속 컨텐츠로 통합하여 저장한다. 따라서, 통합 오브젝트에는 제1 이미지(310), 제2 이미지(410), 제1 종속 컨텐츠(320) 및 제2 종속 컨텐츠(420)가 통합되어 저장된다.
이하, 통합사실 제공 단계에 대해 설명하도록 한다.
통합사실 제공 단계는 이미지 통합 단계 및 종속 컨텐츠 통합 단계가 수행된 후 프로세서(200)가 제1 단말기(30)와 제2 단말기(40) 중 어느 하나의 단말기에 제1 오브젝트(300)와 제2 오브젝트(400)의 통합 사실을 제공하는 단계다. 이러한 통합사실 제공 단계는 지표 산출 단계에서의 확률 지표가 미리 정해진 기준치 이상일 경우 수행된다. 이를 통해, 제1 단말기(30) 또는 제2 단말기(40)의 사용자는 자신이 업로드한 오브젝트와 동일한 오브젝트가 이미 컴퓨터 시스템(10)에 저장된 사실을 알 수 있다.
또한, 프로세서(200)는 제1 단말기(30)와 제2 단말기(40) 중 어느 하나의 단말기에 통합사실과 함께 적어도 하나의 종속 컨텐츠를 제공한다. 프로세서(200)는 사용자의 요청 또는 사용자의 요청과 관련 없이 종속 컨텐츠를 제공할 수 있다. 이를 통해, 제1 단말기(30) 또는 제2 단말기(40)의 사용자는 제1 오브젝트(300) 또는 제2 오브젝트(400)에 포함되는 제1 종속 컨텐츠(320) 또는 제2 종속 컨텐츠(420) 중 적어도 하나를 제공받을 수 있다. 예를 들어, 메모리(100)에 제1 단말기(30)에서 입력한 제1 이미지(310)와 제1 종속 컨텐츠(320)("맛있어요")가 저장된 상태에서 제2 단말기(40)에서 제2 이미지(410)와 제2 종속 컨텐츠(420)("선물 받았어요")를 입력하게 되면, 프로세서(200)는 오브젝트의 확률 지표를 산출하고 확률 지표가 미리 정해진 기준치 이상일 경우 제2 단말기(40)에 통합사실과 함께 제1 종속 컨텐츠(320)("맛있어요")를 제공한다.
이하, 종속 컨텐츠 제공 단계에 대해 설명하도록 한다.
종속 컨텐츠 제공 단계를 설명하는데 있어서, 도 12를 참조하여 설명하도록 한다.
종속 컨텐츠 제공 단계는 컴퓨터 시스템(10)에 포함된 적어도 하나의 프로세서(200)에서 종속 컨텐츠를 단말기에 제공하는 단계이다. 이러한 종속 컨텐츠 제공 단계는 지표 산출 단계에서의 확률 지표가 미리 정해진 기준치 이상일 경우 수행된다. 이러한 경우, 원래는 서로 다른 오브젝트에 종속되었던 종속 컨텐츠가 하나의 통합 오브젝트에 종속되는 종속 컨텐츠로 표시되어 제공될 수 있다.
도 9는 본 발명의 이미지 종속 컨텐츠 통합 방법의 또다른 실시예에 관한 순서도를 도시한 것이다.
도 9를 참조하면, 본 발명의 이미지 종속 컨텐츠 통합 방법은 제1 데이터 저장 단계, 제2 데이터 저장 단계, 지표 산출 단계, 이미지 통합 단계, 종속 컨텐츠 통합 단계, 통합 오브젝트 특성 정보 생성 단계, 제3 데이터 저장 단계, 추가 지표 산출 단계, 추가 이미지 통합 단계 및 추가 종속 컨텐츠 통합 단계를 포함한다. 상술한 각 단계들은 컴퓨터 시스템(10)에서 수행된다. 구체적으로, 상술한 각 단계들은 컴퓨터 시스템(10)에 포함된 적어도 하나의 프로세서(200)에서 수행된다.
상술한 각 단계들은 특별한 인과관계에 의해 나열된 순서에 따라 수행되어야 하는 경우를 제외하고, 나열된 순서와 상관없이 수행될 수 있다. 여기서 제1 데이터 저장 단계, 제2 데이터 저장 단계, 지표 산출 단계, 이미지 통합 단계 및 종속 컨텐츠 통합 단계는 상술한 바와 동일하므로 이하에서는 생략하도록 한다.
이하, 통합 오브젝트 특성 정보 생성 단계에 대해 설명하도록 한다. 통합 오브젝트 특성 정보 생성 단계를 설명하는데 있어서, 도 8을 참조하여 설명하도록 한다.
통합 오브젝트 특성 정보 생성 단계는 컴퓨터 시스템(10)에 포함된 적어도 하나의 프로세서(200)에서, 이미지 통합 단계 및 종속 컨텐츠 통합 단계에 의해서 통합 오브젝트로 통합된 제1 오브젝트(300)와 제2 오브젝트(400)에 대한 특성 정보를 생성하는 단계이다. 이러한 통합 오브젝트 특성 정보 생성 단계는 지표 산출 단계에서의 확률 지표가 미리 정해진 기준치 이상일 경우 수행된다.
통합 오브젝트 특성 정보는 컴퓨터 시스템(10)에 포함된 적어도 하나의 프로세서(200)에서, 제1 이미지(310), 제2 이미지(410) 또는 제1 이미지(310)와 제2 이미지(410)가 합성된 합성 이미지로부터 각각 오브젝트의 외형 및 외면에 대한 정보 중 적어도 하나에 관한 통합 오브젝트 특성 정보를 의미한다.
통합 오브젝트 특성 정보는 프로세서(200)가 이미지로부터 통합 오브젝트의 외형 및 외면에 대한 정보 중 적어도 하나에 관한 특성을 추출한 정보를 의미한다. 통합 오브젝트 특성 정보를 생성하는 구체적인 방법에 대해서는 상술한 지표 산출 단계에서 오브젝트 특성 정보를 생성하는 방법과 동일하므로, 이하에서는 생략하도록 한다.
이하, 제3 데이터 저장 단계에 대해 설명하도록 한다.
제3 데이터 저장 단계를 설명하는데 있어서, 도 10을 참조하여 설명하도록 한다.
제3 데이터 저장 단계는 컴퓨터 시스템(10)에 포함된 적어도 하나의 프로세서(200)에서, 제3 오브젝트(500)에 대한 제3 이미지(510) 및 제3 오브젝트(500)에 종속되는 제3 종속 컨텐츠(520)를 저장하는 단계이다.
도 10에 도시된 것과 같이, 제3 종속 컨텐츠(520)는 제3 오브젝트(500)에 대한 제3 사용자의 리뷰(예를 들어, "청량음료 900원")일 수 있다.
여기서, 제3 데이터 저장 단계는 제1 데이터 저장 단계 및 제2 데이터 저장 단계와 서로 시간적으로 이격되어 수행될 수 있다. 또한, 제3 데이터는 제3 단말기로부터 수신한 데이터일 수 있으며, 제3 단말기는 제1 단말기(30) 또는 제2 단말기(40)와 서로 동일한 단말기이거나 서로 다른 단말기일 수 있다.
제3 데이터의 제3 이미지(510) 및 제3 종속 컨텐츠(520)에 관하여는 상술한 제1 데이터 저장 단계 및 제2 데이터 저장 단계에서 설명한 이미지 및 종속 컨텐츠의 내용과 동일하므로, 이하에서는 생략하도록 한다.
이하, 추가 지표 산출 단계에 대해 설명하도록 한다.
추가 지표 단출 단계는 컴퓨터 시스템(10)에 포함된 적어도 하나의 프로세서(200)에서, 통합 오브젝트 특성 정보 및 제3 오브젝트(500) 특성 정보를 비교하여 통합 오브젝트와 제3 오브젝트(500)가 동일 오브젝트일 확률 지표를 산출하는 단계이다.
복수의 오브젝트 간 동일 오브젝트일 확률 지표를 산출하는 방법은 상술한 지표 산출 단계에서 확률 지표를 산출하는 방법과 동일하므로, 이하에서는 생략하도록 한다.
이하, 추가 이미지 통합 단계에 대해 설명하도록 한다.
추가 이미지 통합 단계를 설명하는데 있어서, 도 12를 참조하여 설명하도록 한다.
추가 이미지 통합 단계는 컴퓨터 시스템(10)에 포함된 적어도 하나의 프로세서(200)에서, 통합 이미지와 제3 이미지(510)를 동일 오브젝트에 대한 이미지로 통합하여 저장하는 단계이다. 이러한 추가 이미지 통합 단계는 추가 지표 산출 단계에서의 확률 지표가 미리 정해진 기준치 이상일 경우 수행된다.
도 12를 참조하면, 확률 지표가 미리 정해진 기준치 이상일 경우, 프로세서(200)는 통합 이미지와 제3 이미지(510)를 더 이상 통합 오브젝트와 제3 오브젝트(500) 각각에 대한 이미지로 파악하여 저장 및 관리하지 않고, 통합 오브젝트에 대한 이미지로 통합하여 저장한다.
이하, 추가 종속 컨텐츠 통합 단계에 대해 설명하도록 한다.
추가 종속 컨텐츠 통합 단계를 설명하는데 있어서, 계속 도 12를 참조하여 설명하도록 한다.
추가 종속 컨텐츠 통합 단계는 컴퓨터 시스템(10)에 포함된 적어도 하나의 프로세서(200)에서 통합 종속 컨텐츠와 제3 종속 컨텐츠(520)를 동일 오브젝트에 대한 종속 컨텐츠로 통합하여 저장하는 단계이다. 이러한 추가 종속 컨텐츠 통합 단계는 추가 지표 산출 단계에서의 확률 지표가 미리 정해진 기준치 이상일 경우 수행된다.
도 12를 참조하면, 확률 지표가 미리 정해진 기준치 이상일 경우, 프로세서(200)는 통합 종속 컨텐츠와 제3 종속 컨텐츠(520)를 더 이상 통합 오브젝트와 제3 오브젝트(500) 각각에 대한 종속 컨텐츠로 파악하여 저장 및 관리하지 않고, 통합 오브젝트에 대한 통합 종속 컨텐츠로 통합하여 저장한다. 따라서, 통합 오브젝트에는 통합 이미지, 제3 이미지(510), 통합 종속 컨텐츠 및 제3 종속 컨텐츠(520)가 통합되어 저장된다.
여기서 종속 컨텐츠는 미리 정해진 필드의 필드값을 포함할 수 있으며, 필드값은 가격, 조회수 또는 추천수 등 오브젝트의 종속 컨텐츠에 대한 필드값을 의미할 수 있다. 여기서, 미리 정해진 필드란, 종속 컨텐츠에 포함될 수 있는 가격, 조회수, 추천수 등이 위치하는 일정 영역을 의미한다. 예를 들어, 종속 컨텐츠가 가격에 관한 필드를 포함하고 있는 경우 필드값은 가격을 의미하게 된다.
프로세서(200)는 통합 오브젝트에 대한 종속 컨텐츠를 필드값으로 정렬하여 단말기에 제공한다. 만약 필드값이 가격인 경우에는 가격을 오름차순 또는 내림차순으로 정렬하여 제공할 수 있다. 도 12에서는 종속 컨텐츠의 필드값에 가격이 포함되어 있고, 가격의 오름차순에 따라서 종속 컨텐츠가 정렬된 것을 나타내고 있다.
이하, 본 발명에 대한 이미지 종속 컨텐츠 통합 시스템에 대해 설명하도록 한다. 이미지 종속 컨텐츠 통합 시스템은 도 2를 참조하여 설명하도록 한다.
이미지 종속 컨텐츠 통합 시스템은 상술한 이미지 종속 컨텐츠 통합 방법을 수행하는 시스템이므로 자세한 설명은 이미지 통합 방법에 대한 설명으로 갈음하도록 한다.
이미지 통합 시스템은 컴퓨터 시스템(10)으로 구현된다. 이러한 컴퓨터 시스템(10)은 메모리(100) 및 프로세서(200)를 포함한다. 또한, 컴퓨터는 네트워크(20)와 연결될 수 있는 통신모듈(50)을 포함할 수 있다.
여기서, 프로세서(200)는 메모리(100)와 연결되고, 명령들을 실행하도록 구성된다. 명령이란 메모리(100)에 포함된 컴퓨터 판독 가능한 명령을 의미한다.
프로세서(200)는 이미지 등록 모드 제공부, 이미지 저장부(210), 오브젝트 특성 정보 생성부, 지표 산출부(220), 통합 저장부(230) 및 종속 컨텐츠 제공부를 포함한다.
메모리(100)에는 복수의 이미지, 복수의 종속 컨텐츠 및 복수의 이미지에 대한 오브젝트 특성 정보들을 포함하는 데이터 베이스가 저장될 수 있다.
이미지 등록 모드 제공부는 단말기에 이미지를 촬영하고, 이미지와 종속 컨텐츠를 컴퓨터 시스템(10)에 전송할 수 있는 유저 인터페이스를 제공한다.
이미지 저장부(210)는 제1 오브젝트(300)에 대한 제1 이미지(310) 및 제1 종속 컨텐츠(320)를 저장하고 제2 오브젝트(400)에 대한 제2 이미지(410) 및 제2 종속 컨텐츠(420)를 저장하며, 제3 오브젝트(500)에 대한 제3 이미지(510) 및 제3 종속 컨텐츠(520)를 저장한다. 이미지 저장부(210)는 상술한 제1 데이터 저장 단계, 제2 데이터 저장 단계 및 제3 데이터 저장 단계를 수행한다.
오브젝트 특성 정보 생성부는 각각의 이미지로부터 오브젝트의 외형 및 외면에 대한 정보 중 적어도 하나에 관한 오브젝트 특성 정보를 생성한다. 오브젝트 특성 정보 생성부는 상술한 오브젝트 특성 정보 생성 단계 및 통합 오브젝트 특성 정보 생성 단계를 수행한다.
지표 산출부(220)는 제1 오브젝트(300) 특성 정보 및 제2 오브젝트(400) 특성 정보를 비교하여 제1 오브젝트(300)와 제2 오브젝트(400)가 동일 오브젝트일 확률 지표를 산출한다. 지표 산출부(220)는 상술한 지표 산출 단계 및 추가 지표 산출 단계를 수행한다.
통합 저장부(230)는 확률 지표가 기준치 이상일 경우, 제1 이미지(310)와 제2 이미지(410)를 동일 오브젝트에 대한 이미지로 통합하여 저장한다. 통합 저장부(230)는 확률 지표가 기준치 이상일 경우, 통합 이미지와 제3 이미지(510)를 동일 오브젝트에 대한 이미지로 통합하여 저장한다. 통합 저장부(230)는 상술한 이미지 통합 단계 및 추가 이미지 통합 단계를 수행한다.
종속 컨텐츠 제공부는 확률 지표가 기준치 이상일 경우, 제1 단말기(30) 및 제2 단말기(40) 중 어느 하나의 단말기에 통합 사실을 제공한다. 또한, 종속 컨텐츠 제공부는 확률 지표가 기준치 이상일 경우, 통합 사실과 함께 적어도 하나의 종속 컨텐츠를 제공한다. 종속 컨텐츠 제공부는 통합 오브젝트에 대한 종속 컨텐츠를 필드값으로 정렬하여 제공한다."
본 발명의 각 실시예에 개시된 기술적 특징들은 해당 실시예에만 한정되는 것은 아니고, 서로 양립 불가능하지 않은 이상, 각 실시예에 개시된 기술적 특징들은 서로 다른 실시예에 병합되어 적용될 수 있다.
이상, 본 발명의 이미지 종속 컨텐츠 통합 방법의 실시예들에 대해 설명하였다. 본 발명은 상술한 실시예 및 첨부한 도면에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자의 관점에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명의 범위는 본 명세서의 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.
10: 컴퓨터 시스템
20: 네트워크
30: 제1 단말기
40: 제2 단말기
50: 통신모듈
100: 메모리
200: 프로세서
210: 이미지 저장부
220: 지표 산출부
230: 통합 저장부
300: 제1 오브젝트
310: 제1 이미지
320: 제1 종속 컨텐츠
330: 부분 이미지
350: 수직 부분 이미지
400: 제2 오브젝트
410: 제2 이미지
420: 제2 종속 컨텐츠
500: 제3 오브젝트
510: 제3 이미지
520: 제3 종속 컨텐츠

Claims (11)

  1. 컴퓨터 시스템에서 수행되는 이미지 종속 컨텐츠 통합 방법에 있어서,
    상기 컴퓨터 시스템에 포함된 적어도 하나의 프로세서에서, 제1 오브젝트에 대한 제1 이미지 및 상기 제1 오브젝트에 종속되는 제1 종속 컨텐츠를 저장하는 제1 데이터 저장 단계;
    상기 적어도 하나의 프로세서에서, 제2 오브젝트에 대한 제2 이미지 및 상기 제2 오브젝트에 종속되는 제2 종속 컨텐츠를 저장하는 제2 데이터 저장 단계;
    상기 적어도 하나의 프로세서에서, 상기 제1 이미지에 대한 제1 오브젝트 특성 정보와 상기 제2 이미지에 대한 제2 오브젝트 특성 정보를 비교하여, 상기 제1 오브젝트와 상기 제2 오브젝트가 동일 오브젝트일 확률 지표를 산출하는 지표 산출 단계;
    상기 확률 지표가 기준치 이상일 경우, 상기 적어도 하나의 프로세서에서, 상기 제1 이미지와 상기 제2 이미지를 통합 오브젝트에 대한 이미지로 저장하는 이미지 통합 단계;
    상기 확률 지표가 기준치 이상일 경우, 상기 적어도 하나의 프로세서에서, 상기 제1 종속 컨텐츠와 상기 제2 종속 컨텐츠를 상기 통합 오브젝트에 대한 종속 컨텐츠로 저장하는 종속 컨텐츠 통합 단계; 및
    상기 적어도 하나의 프로세서에서, 상기 제1 이미지와 상기 제2 이미지를 통합하여 통합 이미지를 생성하고, 상기 통합 이미지로부터 통합 오브젝트 특성 정보를 생성하는 통합 오브젝트 특성 정보 생성 단계를 포함하는 이미지 종속 컨텐츠 통합 방법.
  2. 제1 항에 있어서,
    상기 제1 종속 컨텐츠 및 상기 제2 종속 컨텐츠는,
    상기 제1 오브젝트 및 상기 제2 오브젝트에 대한 리뷰 또는 구매링크를 포함하는 이미지 종속 컨텐츠 통합 방법.
  3. 삭제
  4. 제1 항에 있어서,
    상기 적어도 하나의 프로세서에서, 제3 오브젝트에 대한 제3 이미지 및 상기 제3 오브젝트에 종속되는 제3 종속 컨텐츠를 저장하는 제3 데이터 저장 단계; 및
    상기 적어도 하나의 프로세서에서, 상기 제3 이미지에 대한 제3 오브젝트 특성 정보와 상기 통합 오브젝트 특정 성보를 비교하여, 상기 제3 오브젝트와 상기 통합 오브젝트가 동일 오브젝트일 추가 확률 지표를 산출하는 추가 지표 산출 단계를 더 포함하는 이미지 종속 컨텐츠 통합 방법.
  5. 제1 항에 있어서,
    상기 제1 데이터는 제1 단말기로부터 수신한 데이터이고,
    상기 제2 데이터는 제2 단말기로부터 수신한 데이터인 이미지 종속 컨텐츠 통합 방법.
  6. 제1 항에 있어서,
    상기 확률 지표가 기준치 이상일 경우, 상기 적어도 하나의 프로세서에서, 제1 단말기 및 제2 단말기 중 어느 하나의 단말기에 통합사실을 제공하는 통합사실 제공 단계를 더 포함하는 이미지 종속 컨텐츠 통합 방법.
  7. 제6 항에 있어서,
    상기 적어도 하나의 프로세서에서, 상기 통합 사실과 함께 적어도 하나의 종속 컨텐츠를 제공하는 단계를 더 포함하는 이미지 종속 컨텐츠 통합 방법.
  8. 제1 항에 있어서,
    상기 종속 컨텐츠는 미리 정해진 필드의 필드값을 포함하고,
    상기 적어도 하나의 프로세서에서, 상기 통합 오브젝트에 대한 종속 컨텐츠를 상기 필드값으로 정렬하여 제공하는 종속 컨텐츠 제공 단계를 더 포함하는 이미지 종속 컨텐츠 통합 방법.
  9. 제1 항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지는,
    증강현실 이미지인 이미지 종속 컨텐츠 통합 방법.
  10. 제1 항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지는,
    일정 범위에서 상기 제1 오브젝트 및 상기 제2 오브젝트의 주변을 선회하면서 촬영되어 생성된 이미지인 이미지 종속 컨텐츠 통합 방법.
  11. 컴퓨터 시스템에 있어서,
    메모리; 및
    상기 메모리와 연결되고, 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는, 제1 오브젝트에 대한 제1 이미지 및 상기 제1 오브젝트에 종속되는 제1 종속 컨텐츠를 저장하고, 제2 오브젝트에 대한 제2 이미지 및 상기 제2 오브젝트에 종속되는 제2 종속 컨텐츠를 저장하는 이미지 저장부;
    상기 제1 이미지에 대한 제1 오브젝트 특성 정보와 상기 제2 이미지에 대한 제2 오브젝트 특성 정보를 비교하여, 상기 제1 오브젝트와 상기 제2 오브젝트가 동일 오브젝트일 확률 지표를 산출하는 지표 산출부; 및
    상기 확률 지표가 기준치 이상일 경우, 상기 제1 이미지와 상기 제2 이미지를 통합 오브젝트에 대한 이미지로 저장하고, 상기 제1 종속 컨텐츠와 상기 제2 종속 컨텐츠를 상기 통합 오브젝트에 대한 종속 컨텐츠로 저장하는 통합 저장부를 포함하고,
    상기 적어도 하나의 프로세서는 상기 제1 이미지와 상기 제2 이미지를 통합하여 통합 이미지를 생성하고, 상기 통합 이미지로부터 통합 오브젝트 특성 정보를 생성하는 컴퓨터 시스템.
KR1020200136028A 2020-08-28 2020-10-20 이미지 종속 컨텐츠 통합 방법 KR102282520B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/KR2021/009288 WO2022045587A1 (ko) 2020-08-28 2021-07-19 이미지 종속 컨텐츠 통합 방법
CN202180005240.9A CN114514516A (zh) 2020-08-28 2021-07-19 图像从属内容整合方法
US17/635,621 US20220270224A1 (en) 2020-08-28 2021-07-19 Image dependent content integrating method
JP2022512769A JP7220361B2 (ja) 2020-08-28 2021-07-19 イメージ従属コンテンツの統合方法
CA3190504A CA3190504A1 (en) 2020-08-28 2021-07-19 Image dependent content integrating method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200109720 2020-08-28
KR20200109720 2020-08-28

Publications (1)

Publication Number Publication Date
KR102282520B1 true KR102282520B1 (ko) 2021-07-27

Family

ID=77125303

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200136028A KR102282520B1 (ko) 2020-08-28 2020-10-20 이미지 종속 컨텐츠 통합 방법

Country Status (6)

Country Link
US (1) US20220270224A1 (ko)
JP (1) JP7220361B2 (ko)
KR (1) KR102282520B1 (ko)
CN (1) CN114514516A (ko)
CA (1) CA3190504A1 (ko)
WO (1) WO2022045587A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230054230A (ko) * 2021-10-15 2023-04-24 알비언 주식회사 사물의 이미지 정보에 대응하는 코멘트 정보를 제공하기 위한 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015219797A (ja) * 2014-05-20 2015-12-07 キヤノン株式会社 画像照合装置、画像検索システム、画像照合方法、画像検索方法およびプログラム
JP6071287B2 (ja) * 2012-07-09 2017-02-01 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
KR102153990B1 (ko) 2019-01-31 2020-09-09 한국기술교육대학교 산학협력단 증강현실 영상 마커 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5476955B2 (ja) * 2009-12-04 2014-04-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP6544970B2 (ja) * 2015-04-02 2019-07-17 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
KR101600456B1 (ko) * 2015-12-31 2016-03-08 네이버 주식회사 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
KR102264754B1 (ko) * 2017-12-29 2021-06-11 엘에스일렉트릭(주) 증강 현실 제공 시스템 및 방법
KR20200056593A (ko) * 2018-11-15 2020-05-25 주식회사 하이퍼커넥트 이미지 처리 시스템, 방법 및 컴퓨터 판독 가능한 기록매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6071287B2 (ja) * 2012-07-09 2017-02-01 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2015219797A (ja) * 2014-05-20 2015-12-07 キヤノン株式会社 画像照合装置、画像検索システム、画像照合方法、画像検索方法およびプログラム
KR102153990B1 (ko) 2019-01-31 2020-09-09 한국기술교육대학교 산학협력단 증강현실 영상 마커 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230054230A (ko) * 2021-10-15 2023-04-24 알비언 주식회사 사물의 이미지 정보에 대응하는 코멘트 정보를 제공하기 위한 장치 및 방법
KR102577688B1 (ko) * 2021-10-15 2023-09-12 알비언 주식회사 사물의 이미지 정보에 대응하는 코멘트 정보를 제공하기 위한 장치 및 방법

Also Published As

Publication number Publication date
CA3190504A1 (en) 2022-03-03
JP7220361B2 (ja) 2023-02-10
US20220270224A1 (en) 2022-08-25
WO2022045587A1 (ko) 2022-03-03
CN114514516A (zh) 2022-05-17
JP2022549567A (ja) 2022-11-28

Similar Documents

Publication Publication Date Title
US10402689B1 (en) Generating an image mask using machine learning
CA3029973C (en) Apparatus and methods for facial recognition and video analytics to identify individuals in contextual video streams
US11683362B2 (en) Realistic neural network based image style transfer
US10366519B2 (en) Operating method for image and electronic device supporting the same
US20190279425A1 (en) Augmented-reality-based offline interaction method and apparatus
US9785649B1 (en) Hue-based color naming for an image
US11087432B2 (en) Multistage neural network processing using a graphics processor
US11315219B2 (en) Remote distribution of neural networks
JP6475339B2 (ja) 画像共有方法及び装置、並びに端末デバイス
US20200210704A1 (en) Augmented reality with markerless, context-aware object tracking
US10999501B2 (en) Electronic device and method for controlling display of panorama image
KR101253283B1 (ko) 고해상도 영상 재구성 방법 및 시스템
US20230056082A1 (en) Fast image style transfers
US20190355153A1 (en) System and method for selecting scenes for browsing histories in augmented reality interfaces
US9491402B2 (en) Electronic device and method of processing image in electronic device
KR102282520B1 (ko) 이미지 종속 컨텐츠 통합 방법
CN102761740B (zh) 使用存储器破坏来快速估计二进制数据长度
KR102242027B1 (ko) 이미지 통합 방법 및 시스템
US9898799B2 (en) Method for image processing and electronic device supporting thereof
WO2023124376A1 (zh) 基于ar的无线网络仿真方法、系统、终端及存储介质
US20220207671A1 (en) Conversion of image
CN115705617A (zh) 远程合照方法、装置、设备及存储介质
CN116711303A (zh) 三维视频通话方法及电子设备
CN117729421A (zh) 图像处理方法、电子设备和计算机可读存储介质
US20150365624A1 (en) Method for processing image and electronic device for the method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant