KR102191028B1 - 분할 이미지 기반 이미지 복원 시스템 - Google Patents

분할 이미지 기반 이미지 복원 시스템 Download PDF

Info

Publication number
KR102191028B1
KR102191028B1 KR1020190017088A KR20190017088A KR102191028B1 KR 102191028 B1 KR102191028 B1 KR 102191028B1 KR 1020190017088 A KR1020190017088 A KR 1020190017088A KR 20190017088 A KR20190017088 A KR 20190017088A KR 102191028 B1 KR102191028 B1 KR 102191028B1
Authority
KR
South Korea
Prior art keywords
image
restoration
area
shape information
black
Prior art date
Application number
KR1020190017088A
Other languages
English (en)
Other versions
KR20200099638A (ko
Inventor
최호진
차호재
배상진
Original Assignee
한양대학교 에리카산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 에리카산학협력단 filed Critical 한양대학교 에리카산학협력단
Priority to KR1020190017088A priority Critical patent/KR102191028B1/ko
Publication of KR20200099638A publication Critical patent/KR20200099638A/ko
Application granted granted Critical
Publication of KR102191028B1 publication Critical patent/KR102191028B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 분할 이미지 기반 이미지 복원 시스템 및 그 방법에 관한 것이다. 본 발명은, 이미지 복원 서버(300)가 사용자 스마트 디바이스(100)으로부터 사진 이미지와 함께 이미지 복원 요청을 네트워크(200)를 통해 수신하는 제 1 단계; 이미지 복원 서버(300)가 네트워크(200)를 통해 사용자 스마트 디바이스(100)에 대해서 데이터베이스(330)에 저장된 사진 이미지에 대한 복원하고 싶은 적어도 하나 이상의 구역 지정 요청을 전송하여 각 사진 이미지에 대한 적어도 하나 이상의 복원 구역 정보를 수신한 뒤, 각 사진 이미지와 함께 복원 구역 정보를 데이터베이스(330)에 저장하는 제 2 단계; 및 이미지 복원 서버(300)가 사진 이미지 상에서 적어도 하나 이상의 복원 구역 정보에 해당하는 구역 이미지를 추출한 뒤, 각 추출된 구역 이미지에서 색인식을 통해 구역 이미지의 각 픽셀에 대한 색인식을 통해 동일한 색상에 해당하는 픽셀 영역을 추출하는 방식으로 형상 정보를 추출하며, 추출된 형상 정보를 흑색으로 나머지 픽셀 영역은 백색으로 구분하는 흑백 이미지를 생성하여 형상 정보와 흑백 이미지를 구역 이미지와 함께 데이터베이스(330)에 저장하는 제 3 단계; 를 포함하는 것을 특징으로 한다.
이에 의해, 색인식을 통해 구역을 지정하여 사진 이미지에서 흐릿한 로고 등을 복원할 수 있는 효과를 제공한다.
또한, 형상 정보와 흑백 이미지 정보를 동시에 활용하여 흐릿하거나 원본 사진 이미지에서 삭제/오류가 있는 부분에 대해서 보다 정밀한 복원이 가능한 효과를 제공할 뿐만 아니라, 유실된 이미지 영역에 대해서 복수개로 분할하여 각 복수개를 서로 다른 레퍼런스 이미지로 복원을 함으로써, 정밀의 복원성을 향상시킬 수 있는 효과를 제공한다.

Description

분할 이미지 기반 이미지 복원 시스템{Image restoration system based on split image}
본 발명은 분할 이미지 기반 이미지 복원 시스템 및 그 방법에 관한 것으로, 보다 구체적으로는, 색인식을 통해 구역을 지정하여 사진 이미지에서 흐릿한 로고 등을 복원하도록 하기 위한 분할 이미지 기반 이미지 복원 시스템 및 그 방법에 관한 것이다.
이미지 복원 기술(Image Inpainting)은 과거 박물관에서 손상된 예술 작품의 복원으로부터 시작된 기술로, 현재에는 그림이나 사진의 손상된 부분을 복원하거나 일부분을 제거하는 것과 같은 다양한 용도로 사용된다.
이러한 이미지 복원 기술은 복원할 타겟 이미지가 존재하면 타겟 이미지의 경계 부분에 인접한 배경 이미지 영역의 픽셀들을 보간하고, 보간된 픽셀들로 타겟 이미지 영역을 채우는 기술이다. 여기서 배경 이미지는 원본 이미지에서 복원할 타겟 이미지를 제외한 나머지 이미지를 의미한다.
그러나 이러한 이미지 복원 기술을 이용하여 생성된 결과 이미지는 블러(Blur) 현상이 심하게 생성되는 문제점이 발생하였다.
이에 따라 해당 기술분야에 있어서는 색인식을 통해 구역을 지정하여 사진 이미지에서 흐릿한 로고 등을 복원하도록 하기 위한 기술개발이 요구되고 있다.
대한민국 특허출원 출원번호 제10-2014-7009803호 "터치 결정을 위한 이미지 복원(IMAGE RECONSTRUCTION FOR TOUCH DETERMINATION)"
본 발명은 상기의 문제점을 해결하기 위한 것으로, 색인식을 통해 구역을 지정하여 사진 이미지에서 흐릿한 로고 등을 복원하도록 하기 위한 분할 이미지 기반 이미지 복원 시스템 및 그 방법을 제공하기 위한 것이다.
또한, 본 발명은 형상 정보와 흑백 이미지 정보를 동시에 활용하여 흐릿하거나 원본 사진 이미지에서 삭제/오류가 있는 부분에 대해서 보다 정밀한 복원할 수 있도록 하기 위한 분할 이미지 기반 이미지 복원 시스템 및 그 방법을 제공하기 위한 것이다.
또한, 본 발명은 유실된 이미지 영역에 대해서 복수개로 분할하여 각 복수개를 서로 다른 레퍼런스 이미지로 복원을 함으로써, 정밀의 복원성을 향상시킬 수 있도록 하기 위한 분할 이미지 기반 이미지 복원 시스템 및 그 방법을 제공하기 위한 것이다.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 분할 이미지 기반 이미지 복원 방법은, 이미지 복원 서버(300)가 사용자 스마트 디바이스(100)으로부터 사진 이미지와 함께 이미지 복원 요청을 네트워크(200)를 통해 수신하는 제 1 단계; 이미지 복원 서버(300)가 네트워크(200)를 통해 사용자 스마트 디바이스(100)에 대해서 데이터베이스(330)에 저장된 사진 이미지에 대한 복원하고 싶은 적어도 하나 이상의 구역 지정 요청을 전송하여 각 사진 이미지에 대한 적어도 하나 이상의 복원 구역 정보를 수신한 뒤, 각 사진 이미지와 함께 복원 구역 정보를 데이터베이스(330)에 저장하는 제 2 단계; 및 이미지 복원 서버(300)가 사진 이미지 상에서 적어도 하나 이상의 복원 구역 정보에 해당하는 구역 이미지를 추출한 뒤, 각 추출된 구역 이미지에서 색인식을 통해 구역 이미지의 각 픽셀에 대한 색인식을 통해 동일한 색상에 해당하는 픽셀 영역을 추출하는 방식으로 형상 정보를 추출하며, 추출된 형상 정보를 흑색으로 나머지 픽셀 영역은 백색으로 구분하는 흑백 이미지를 생성하여 형상 정보와 흑백 이미지를 구역 이미지와 함께 데이터베이스(330)에 저장하는 제 3 단계; 를 포함하는 것을 특징으로 한다.
이때, 상기 제 1 단계 이전에, 사용자 스마트 디바이스(100)가 이미지 복원 앱(100a)에 대한 실행에 따라 카메라를 통해 촬영된 사진 이미지를 네트워크(200)를 통해 이미지 복원 서버(300)로 전송하는 단계; 를 더 포함하는 것을 특징으로 한다.
또한, 상기 제 1 단계는, 이미지 복원 서버(300)가 사용자 스마트 디바이스(100)의 단말식별번호(IMEI)를 메타 데이터로 적어도 하나 이상의 사진 이미지를 데이터베이스(330)에 저장하는 단계; 를 더 포함하는 것을 특징으로 한다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 분할 이미지 기반 이미지 복원 시스템은, 사용자 스마트 디바이스(100), 네트워크(200), 이미지 복원 서버(300)를 포함하는 분할 이미지 기반 이미지 복원 시스템(1)에 있어서, 이미지 복원 서버(300)는, 사용자 스마트 디바이스(100)으로부터 사진 이미지와 함께 이미지 복원 요청을 네트워크(200)를 통해 수신하는 이미지 수집 모듈(321); 및 네트워크(200)를 통해 사용자 스마트 디바이스(100)에 대해서 데이터베이스(330)에 저장된 사진 이미지에 대한 복원하고 싶은 적어도 하나 이상의 구역 지정 요청을 전송하여 각 사진 이미지에 대한 적어도 하나 이상의 복원 구역 정보를 수신한 뒤, 각 사진 이미지와 함께 복원 구역 정보를 데이터베이스(330)에 저장하는 제 1 복원모듈(322); 을 포함하며, 제 1 복원모듈(322)은, 사진 이미지 상에서 적어도 하나 이상의 복원 구역 정보에 해당하는 구역 이미지를 추출한 뒤, 각 추출된 구역 이미지에서 색인식을 통해 구역 이미지의 각 픽셀에 대한 색인식을 통해 동일한 색상에 해당하는 픽셀 영역을 추출하는 방식으로 형상 정보를 추출하며, 추출된 형상 정보를 흑색으로 나머지 픽셀 영역은 백색으로 구분하는 흑백 이미지를 생성하여 형상 정보와 흑백 이미지를 구역 이미지와 함께 데이터베이스(330)에 저장하는 것을 특징으로 한다.
이때, 사용자 스마트 디바이스(100)는, 이미지 복원 앱(100a)에 대한 실행에 따라 카메라를 통해 촬영된 사진 이미지를 네트워크(200)를 통해 이미지 복원 서버(300)로 전송하는 것을 특징으로 한다.
또한, 이미지 수집 모듈(321)은, 사용자 스마트 디바이스(100)의 단말식별번호(IMEI)를 메타 데이터로 적어도 하나 이상의 사진 이미지를 데이터베이스(330)에 저장하는 것을 특징으로 한다.
본 발명의 실시예에 따른 분할 이미지 기반 이미지 복원 시스템 및 그 방법은, 색인식을 통해 구역을 지정하여 사진 이미지에서 흐릿한 로고 등을 복원할 수 있는 효과를 제공한다.
또한, 본 발명의 다른 실시예에 따른 분할 이미지 기반 이미지 복원 시스템 및 그 방법은, 형상 정보와 흑백 이미지 정보를 동시에 활용하여 흐릿하거나 원본 사진 이미지에서 삭제/오류가 있는 부분에 대해서 보다 정밀한 복원이 가능한 효과를 제공한다.
뿐만 아니라, 본 발명의 다른 실시예에 따른 분할 이미지 기반 이미지 복원 시스템 및 그 방법은, 유실된 이미지 영역에 대해서 복수개로 분할하여 각 복수개를 서로 다른 레퍼런스 이미지로 복원을 함으로써, 정밀의 복원성을 향상시킬 수 있는 효과를 제공한다.
도 1은 본 발명의 실시예에 따른 분할 이미지 기반 이미지 복원 시스템(1)을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 분할 이미지 기반 이미지 복원 시스템(1) 중 이미지 복원 서버(300)의 구성요소를 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 분할 이미지 기반 이미지 복원 시스템(1)의 구동 원리를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 분할 이미지 기반 이미지 복원 시스템(1) 중 이미지 복원 서버(300)의 제 1 복원모듈(322)에 의한 제 1 복원 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 분할 이미지 기반 이미지 복원 시스템(1) 중 이미지 복원 서버(300)의 제 1 복원모듈(322)에 의한 색인식 원리를 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 분할 이미지 기반 이미지 복원 시스템(1) 중 이미지 복원 서버(300)의 제 2 복원모듈(323)에 의한 제 2 복원 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 분할 이미지 기반 이미지 복원 방법을 나타내는 흐름도이다.
이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
도 1은 본 발명의 실시예에 따른 분할 이미지 기반 이미지 복원 시스템(1)을 나타내는 도면이다. 도 1을 참조하면, 분할 이미지 기반 이미지 복원 시스템(1)은 사용자 스마트 디바이스(100), 네트워크(200), 이미지 복원 서버(300), 외부 사용자 스마트 디바이스(400), 그리고 빅데이터 서버(500)를 포함할 수 있다.
본 발명에서 네트워크(200)는 대용량, 장거리 음성 및 데이터 서비스가 가능한 대형 통신망의 고속 기간 망인 통신망이며, 인터넷(Internet) 또는 고속의 멀티미디어 서비스를 제공하기 위한 차세대 유선 및 무선 망일 수 있다. 네트워크(200)가 이동통신망일 경우 동기식 이동 통신망일 수도 있고, 비동기식 이동 통신망일 수도 있다. 비동기식 이동 통신망의 일 실시 예로서, WCDMA(Wideband Code Division Multiple Access) 방식의 통신망을 들 수 있다. 이 경우 도면에 도시되진 않았지만, 이동통신망(700)은 RNC(Radio Network Controller)을 포함할 수 있다. 한편, WCDMA망을 일 예로 들었지만, 3G LTE망, 4G망 그 밖의 5G 등 차세대 통신망, 그 밖의 IP를 기반으로 한 IP망일 수 있다. 네트워크(200)는 사용자 스마트 디바이스(100), 이미지 복원 서버(300), 외부 사용자 스마트 디바이스(400), 빅데이터 서버(500), 그 밖의 시스템 상호 간의 신호 및 데이터를 상호 전달하는 역할을 한다.
도 2는 본 발명의 실시예에 따른 분할 이미지 기반 이미지 복원 시스템(1) 중 이미지 복원 서버(300)의 구성요소를 나타내는 블록도이다. 도 3은 본 발명의 실시예에 따른 분할 이미지 기반 이미지 복원 시스템(1)의 구동 원리를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 분할 이미지 기반 이미지 복원 시스템(1) 중 이미지 복원 서버(300)의 제 1 복원모듈(322)에 의한 제 1 복원 과정을 설명하기 위한 도면이다. 도 5는 본 발명의 실시예에 따른 분할 이미지 기반 이미지 복원 시스템(1) 중 이미지 복원 서버(300)의 제 1 복원모듈(322)에 의한 색인식 원리를 설명하기 위한 도면이다. 도 6은 본 발명의 실시예에 따른 분할 이미지 기반 이미지 복원 시스템(1) 중 이미지 복원 서버(300)의 제 2 복원모듈(323)에 의한 제 2 복원 과정을 설명하기 위한 도면이다.
먼저, 도 2를 참조하면, 이미지 복원 서버(300)는 송수신부(310), 제어부(320) 및 데이터베이스(330)를 포함하며, 제어부(320)는 이미지 수집 모듈(321), 제 1 복원모듈(322) 및 제 2 복원모듈(323)을 포함함으로써, 도 3a에서 도 3b와 같이 사용자 스마트 디바이스(100)에서 촬영된 사진 이미지에서 흐릿한 로고 등의 영역을 복원할 수 있다.
이하에서는 제어부(320)의 구성요소를 중심으로 이미지 복원 서버(300), 그리고 분할 이미지 기반 이미지 복원 시스템(1)에 대해서 구체적으로 살펴보도록 한다.
이미지 수집 모듈(321)은 사용자 스마트 디바이스(100)으로부터 사진 이미지와 함께 이미지 복원 요청을 네트워크(200)를 통해 수신하도록 송수신부(310)를 제어할 수 있다. 이를 위해 사용자 스마트 디바이스(100)는 이미지 복원 앱 데이터 요청을 네트워크(200)를 통해 이미지 복원 서버(300)에 전송한 뒤, 이미지 복원 앱 데이터를 수신하여 저장부 상에 이미지 복원 앱(100a)에 대한 설치를 완료하고, 이미지 복원 앱(100a)에 대한 실행에 따라, 사용자 스마트 디바이스(100) 상에서 카메라를 통해 촬영된 사진 이미지를 네트워크(200)를 통해 전송할 수 있다.
이미지 수집 모듈(321)은 사용자 스마트 디바이스(100)의 단말식별번호(IMEI)를 메타 데이터로 적어도 하나 이상의 사진 이미지를 데이터베이스(330)에 저장할 수 있다.
제 1 복원모듈(322)은 네트워크(200)를 통해 사용자 스마트 디바이스(100)에 대해서 데이터베이스(330)에 저장된 사진 이미지에 대한 복원하고 싶은 적어도 하나 이상의 구역 지정 요청을 전송하도록 송수신부(310)를 제어함으로써, 도 4a 및 도 4b와 같은 사용자 스마트 디바이스(100) 상에서의 연속 작업을 통해 각 사진 이미지에 대한 적어도 하나 이상의 복원 구역 정보를 수신한 뒤, 각 사진 이미지와 함께 복원 구역 정보를 데이터베이스(330)에 저장할 수 있다.
이후, 제 1 복원모듈(322)은 사진 이미지 상에서 적어도 하나 이상의 복원 구역 정보에 해당하는 구역 이미지를 추출한 뒤, 각 추출된 구역 이미지에서 색인식을 통해 도 5와 같은 구역 이미지의 각 픽셀에 대한 색인식을 통해 동일한 색상에 해당하는 픽셀 영역을 추출하는 방식으로 형상 정보를 추출하며, 추출된 형상 정보를 흑색으로 나머지 픽셀 영역은 백색으로 구분하는 흑백 이미지를 생성한 뒤, 형상 정보와 흑백 이미지를 구역 이미지와 함께 데이터베이스(330)에 저장할 수 있다.
이후, 제 2 복원모듈(323)은 네트워크(200)를 통해 빅데이터 서버(500)로 형상 정보와 흑백 이미지를 동시에 전송하도록 송수신부(310)를 제어함으로써, 형상 정보에 해당하는 제 1 레퍼런스 이미지 및/또는 흑백 이미지에 대한 제 2 레퍼런스 이미지에 대해서 빅데이터 서버(500)에 의한 추출이 완료되면, 빅데이터 서버(500)로부터 적어도 하나 이상의 레퍼런스 이미지를 수신하여 구역 이미지, 형상 정보, 흑백 이미지, 그리고 레퍼런스 이미지를 함께 데이터베이스(330)에 저장할 수 있다.
여기서 빅데이터 서버(500)는 사용자 스마트 디바이스(100), 그리고 사용자 스마트 디바이스(100)를 제외한 외부 사용자 스마트 디바이스(400)로부터 네트워크(200)를 통해 수집된 이미지에 대한 형상 분석 및 흑백 이미지 영역 분석을 통해 형상 및 이미지 영역 카테고리별로 구분하여 제 1 레퍼런스 이미지 및 제 2 레퍼런스 이미지를 저장하고 관리할 수 있다. 이를 위해 외부 사용자 스마트 디바이스(400)도 이미지 복원 앱(400a)을 저장부에 설치하고 있는 것이 바람직하다.
이후, 제 2 복원모듈(323)은 레퍼런스 이미지 중 제 1 레퍼런스 이미지가 하나인 경우, 하나의 제 1 레퍼런스 이미지를 구역 이미지로 대체한 뒤, 제 1 레퍼런스 이미지로 대체된 구역 이미지를 갖는 사진 이미지를 네트워크(200)를 통해 사용자 스마트 디바이스(100)로 전송하도록 송수신부(310)를 제어할 수 있다.
또한, 제 2 복원모듈(323)은 도 6a 및 도 6b와 같이 사용자 스마트 디바이스(100)로 구역 이미지와 매칭되는 제 1 레퍼런스 이미지만을 별도로 네트워크(200)를 통해 사용자 스마트 디바이스(100)로 전송하도록 송수신부(310)를 제어할 수 있다.
이후, 제 2 복원모듈(323)은 레퍼런스 이미지 중 제 1 레퍼런스 이미지가 복수인 경우, 복수의 제 1 레퍼런스 이미지에 대해서 색인식을 통해 제 1 레퍼런스 이미지의 각 픽셀에 대한 색인식을 통해 동일한 색상에 해당하는 픽셀 영역을 추출하는 방식으로 형상 정보를 추출하며, 추출된 형상 정보와 제 1 복원모듈(322)에 의해 구역 이미지에서 추출된 형상 정보 간의 1:1 매칭을 통해 각 구역 이미지에서 1:1 매칭되는 형상 정보를 갖는 영역을 제 1 레퍼런스 이미지에서의 분할을 수행할 수 있다.
이후, 제 2 복원모듈(323)은 제 1 레퍼런스 이미지에서 분할 수행에 따라 각 분할된 이미지에 대해서 각 분할된 이미지의 형상 정보와 구역 이미지의 형상 정보 간에 1:1로 매칭되는 영역으로의 대체하는 분할 타입의 이미지 변환 과정을 수행함으로써, 분할 타입의 이미지 변환이 완료된 구역 이미지를 사진 이미지에 적용한 뒤, 적용이 완료된 사진 이미지를 네트워크(200)를 통해 사용자 스마트 디바이스(100)로 전송하도록 송수신부(310)를 제어할 수 있다.
이러한 과정을 통해 제 2 복원모듈(323)은 촬영시 사진 이미지에서 흐리거나 없는 부분을 복원할 수 있으며, 하나의 분할 타입의 이미지 변환시 각도가 다른 제 1 레퍼런스 이미지가 있는 경우, 흑백 이미지에 대한 제 2 레퍼런스 이미지 중 백색 픽셀 영역과 매칭되는 것을 공백 영역으로 추출한 뒤, 추출된 제 2 레퍼런스 이미지의 공백 영역을 제외한 흑색 영역의 성분과 형상 정보가 가장 유사한 제 1 레퍼런스 이미지를 사용함으로써, 원본에 해당하는 구역 이미지와 가장 유사한 각도를 갖는 형상 정보를 갖는 제 1 레퍼런스 이미지를 추출할 수 있다.
도 7은 본 발명의 실시예에 따른 분할 이미지 기반 이미지 복원 방법을 나타내는 흐름도이다. 도 7을 참조하면, 사용자 스마트 디바이스(100) 상에서 이미지 복원 앱(100a)에 대한 실행 이후, 사용자 스마트 디바이스(100) 상에서 카메라를 통해 촬영된 사진 이미지를 네트워크(200)를 통한 전송에 따라, 이미지 복원 서버(300)는 사용자 스마트 디바이스(100)으로부터 사진 이미지와 함께 이미지 복원 요청을 네트워크(200)를 통해 수신한 뒤, 사용자 스마트 디바이스(100)의 단말식별번호(IMEI)를 메타 데이터로 적어도 하나 이상의 사진 이미지를 데이터베이스(330)에 저장한다(S100).
단계(S100) 이후, 이미지 복원 서버(300)는 네트워크(200)를 통해 사용자 스마트 디바이스(100)에 대해서 데이터베이스(330)에 저장된 사진 이미지에 대한 복원하고 싶은 적어도 하나 이상의 구역 지정 요청을 전송하여 각 사진 이미지에 대한 적어도 하나 이상의 복원 구역 정보를 수신한 뒤, 각 사진 이미지와 함께 복원 구역 정보를 데이터베이스(330)에 저장한다. 이후, 이미지 복원 서버(300)는 사진 이미지 상에서 적어도 하나 이상의 복원 구역 정보에 해당하는 구역 이미지를 추출한 뒤, 각 추출된 구역 이미지에서 색인식을 통해 구역 이미지의 각 픽셀에 대한 색인식을 통해 동일한 색상에 해당하는 픽셀 영역을 추출하는 방식으로 형상 정보를 추출하며, 추출된 형상 정보를 흑색으로 나머지 픽셀 영역은 백색으로 구분하는 흑백 이미지를 생성하여 형상 정보와 흑백 이미지를 구역 이미지와 함께 데이터베이스(330)에 저장한다(S200).
단계(S200) 이후, 이미지 복원 서버(300)는 네트워크(200)를 통해 빅데이터 서버(500)로 형상 정보와 흑백 이미지를 동시에 전송함으로써, 형상 정보에 해당하는 제 1 레퍼런스 이미지 및/또는 흑백 이미지에 대한 제 2 레퍼런스 이미지에 대해서 빅데이터 서버(500)에 의한 추출이 완료되면, 빅데이터 서버(500)로부터 적어도 하나 이상의 레퍼런스 이미지를 수신하여 구역 이미지, 형상 정보, 흑백 이미지, 그리고 레퍼런스 이미지를 함께 데이터베이스(330)에 저장한 뒤, 레퍼런스 이미지 중 제 1 레퍼런스 이미지가 하나인 경우, 하나의 제 1 레퍼런스 이미지를 구역 이미지로 대체한 뒤, 제 1 레퍼런스 이미지로 대체된 구역 이미지를 갖는 사진 이미지를 네트워크(200)를 통해 사용자 스마트 디바이스(100)로 전송한다(S300).
한편, 단계(S300)에서, 이미지 복원 서버(300)는 사용자 스마트 디바이스(100)로 구역 이미지와 매칭되는 제 1 레퍼런스 이미지만을 별도로 네트워크(200)를 통해 사용자 스마트 디바이스(100)로 전송할 수 있다.
또한, 단계(S300)에서, 이미지 복원 서버(300)는 레퍼런스 이미지 중 제 1 레퍼런스 이미지가 복수인 경우, 복수의 제 1 레퍼런스 이미지에 대해서 색인식을 통해 제 1 레퍼런스 이미지의 각 픽셀에 대한 색인식을 통해 동일한 색상에 해당하는 픽셀 영역을 추출하는 방식으로 형상 정보를 추출하며, 추출된 형상 정보와 제 1 복원모듈(322)에 의해 구역 이미지에서 추출된 형상 정보 간의 1:1 매칭을 통해 각 구역 이미지에서 1:1 매칭되는 형상 정보를 갖는 영역을 제 1 레퍼런스 이미지에서의 분할을 수행할 수 있다.
이후, 이미지 복원 서버(300)는 제 1 레퍼런스 이미지에서 분할 수행에 따라 각 분할된 이미지에 대해서 각 분할된 이미지의 형상 정보와 구역 이미지의 형상 정보 간에 1:1로 매칭되는 영역으로의 대체하는 분할 타입의 이미지 변환 과정을 수행함으로써, 분할 타입의 이미지 변환이 완료된 구역 이미지를 사진 이미지에 적용한 뒤, 적용이 완료된 사진 이미지를 네트워크(200)를 통해 사용자 스마트 디바이스(100)로 전송할 수 있다.
이러한 과정을 통해 이미지 복원 서버(300)는 촬영시 사진 이미지에서 흐리거나 없는 부분을 복원할 수 있으며, 하나의 분할 타입의 이미지 변환시 각도가 다른 제 1 레퍼런스 이미지가 있는 경우, 흑백 이미지에 대한 제 2 레퍼런스 이미지 중 백색 픽셀 영역과 매칭되는 것을 공백 영역으로 추출한 뒤, 추출된 제 2 레퍼런스 이미지의 공백 영역을 제외한 흑색 영역의 성분과 형상 정보가 가장 유사한 제 1 레퍼런스 이미지를 사용함으로써, 원본에 해당하는 구역 이미지와 가장 유사한 각도를 갖는 형상 정보를 갖는 제 1 레퍼런스 이미지를 추출할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
1 : 분할 이미지 기반 이미지 복원 시스템
100 : 사용자 스마트 디바이스
200 : 네트워크
300 : 이미지 복원 서버
400 : 외부 사용자 스마트 디바이스

Claims (6)

  1. 사용자 스마트 디바이스(100), 네트워크(200), 이미지 복원 서버(300)를 포함하는 분할 이미지 기반 이미지 복원 시스템(1)에 있어서, 이미지 복원 서버(300)는,
    사용자 스마트 디바이스(100)으로부터 사진 이미지와 함께 이미지 복원 요청을 네트워크(200)를 통해 수신하는 이미지 수집 모듈(321); 및
    네트워크(200)를 통해 사용자 스마트 디바이스(100)에 대해서 데이터베이스(330)에 저장된 사진 이미지에 대한 복원하고 싶은 적어도 하나 이상의 구역 지정 요청을 전송하여 각 사진 이미지에 대한 적어도 하나 이상의 복원 구역 정보를 수신한 뒤, 각 사진 이미지와 함께 복원 구역 정보를 데이터베이스(330)에 저장하는 제 1 복원모듈(322); 및
    네트워크(200)를 통해 빅데이터 서버(500)로 형상 정보와 흑백 이미지를 동시에 전송하도록 송수신부(310)를 제어함으로써, 형상 정보에 해당하는 제 1 레퍼런스 이미지 및/또는 흑백 이미지에 대한 제 2 레퍼런스 이미지에 대해서 빅데이터 서버(500)에 의한 추출이 완료되면, 빅데이터 서버(500)로부터 적어도 하나 이상의 레퍼런스 이미지를 수신하여 구역 이미지, 형상 정보, 흑백 이미지, 그리고 레퍼런스 이미지를 함께 데이터베이스(330)에 저장하는 제 2 복원모듈(323);을 포함하고,
    제 1 복원모듈(322)은, 사진 이미지 상에서 적어도 하나 이상의 복원 구역 정보에 해당하는 구역 이미지를 추출한 뒤, 각 추출된 구역 이미지에서 색인식을 통해 구역 이미지의 각 픽셀에 대한 색인식을 통해 동일한 색상에 해당하는 픽셀 영역을 추출하는 방식으로 형상 정보를 추출하며, 추출된 형상 정보를 흑색으로 나머지 픽셀 영역은 백색으로 구분하는 흑백 이미지를 생성하여 형상 정보와 흑백 이미지를 구역 이미지와 함께 데이터베이스(330)에 저장하고,
    제 2 복원모듈(323)은 레퍼런스 이미지 중 제 1 레퍼런스 이미지가 하나인 경우, 하나의 제 1 레퍼런스 이미지를 구역 이미지로 대체한 뒤, 제 1 레퍼런스 이미지로 대체된 구역 이미지를 갖는 사진 이미지를 네트워크(200)를 통해 사용자 스마트 디바이스(100)로 전송하도록 송수신부(310)를 제어하고,
    제 2 복원모듈(323)은 레퍼런스 이미지 중 제 1 레퍼런스 이미지가 복수인 경우, 복수의 제 1 레퍼런스 이미지에 대해서 색인식을 통해 제 1 레퍼런스 이미지의 각 픽셀에 대한 색인식을 통해 동일한 색상에 해당하는 픽셀 영역을 추출하는 방식으로 형상 정보를 추출하며, 추출된 형상 정보와 제 1 복원모듈(322)에 의해 구역 이미지에서 추출된 형상 정보 간의 1:1 매칭을 통해 각 구역 이미지에서 1:1 매칭되는 형상 정보를 갖는 영역을 제 1 레퍼런스 이미지에서의 분할을 수행하는 것을 특징으로 하는 분할 이미지 기반 이미지 복원 시스템.
  2. 청구항 1에 있어서, 사용자 스마트 디바이스(100)는,
    이미지 복원 앱(100a)에 대한 실행에 따라 카메라를 통해 촬영된 사진 이미지를 네트워크(200)를 통해 이미지 복원 서버(300)로 전송하는 것을 특징으로 하는 분할 이미지 기반 이미지 복원 시스템.
  3. 청구항 1에 있어서, 이미지 수집 모듈(321)은,
    사용자 스마트 디바이스(100)의 단말식별번호(IMEI)를 메타 데이터로 적어도 하나 이상의 사진 이미지를 데이터베이스(330)에 저장하는 것을 특징으로 하는 분할 이미지 기반 이미지 복원 시스템.
  4. 삭제
  5. 삭제
  6. 삭제
KR1020190017088A 2019-02-14 2019-02-14 분할 이미지 기반 이미지 복원 시스템 KR102191028B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190017088A KR102191028B1 (ko) 2019-02-14 2019-02-14 분할 이미지 기반 이미지 복원 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190017088A KR102191028B1 (ko) 2019-02-14 2019-02-14 분할 이미지 기반 이미지 복원 시스템

Publications (2)

Publication Number Publication Date
KR20200099638A KR20200099638A (ko) 2020-08-25
KR102191028B1 true KR102191028B1 (ko) 2020-12-15

Family

ID=72242181

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190017088A KR102191028B1 (ko) 2019-02-14 2019-02-14 분할 이미지 기반 이미지 복원 시스템

Country Status (1)

Country Link
KR (1) KR102191028B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006040164A (ja) * 2004-07-29 2006-02-09 Hitachi Hybrid Network Co Ltd 映像データの登録検索システム及び登録検索方法
JP2014093574A (ja) * 2012-10-31 2014-05-19 Kyocera Document Solutions Inc 画像形成装置及び画像形成プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10235593B2 (en) * 2013-03-12 2019-03-19 Nec Corporation Identification method, identification system, identification apparatus, and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006040164A (ja) * 2004-07-29 2006-02-09 Hitachi Hybrid Network Co Ltd 映像データの登録検索システム及び登録検索方法
JP2014093574A (ja) * 2012-10-31 2014-05-19 Kyocera Document Solutions Inc 画像形成装置及び画像形成プログラム

Also Published As

Publication number Publication date
KR20200099638A (ko) 2020-08-25

Similar Documents

Publication Publication Date Title
US10523917B2 (en) Method and apparatus for acquiring three-dimensional image using two cameras
US9992408B2 (en) Photographing processing method, device and computer storage medium
CN106851386B (zh) 基于Android系统的电视终端中增强现实的实现方法及装置
CN111316627B (zh) 一种拍摄方法、用户终端及计算机可读存储介质
CN103052961A (zh) 识别具有相机功能的移动设备捕获的可视媒体内容
US10477220B1 (en) Object segmentation in a sequence of color image frames based on adaptive foreground mask upsampling
JP7100306B2 (ja) ユーザ指定初期化点に基づくオブジェクトトラッキング
US20090317062A1 (en) Image processing method and apparatus
KR101329102B1 (ko) 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템
CN110557417B (zh) 一种图像处理方法及装置、存储介质
CN105812920A (zh) 媒体信息处理方法及媒体信息处理装置
CN103870488A (zh) 文件获取方法和电子设备
KR102191028B1 (ko) 분할 이미지 기반 이미지 복원 시스템
KR20200099639A (ko) 분할 이미지 기반 이미지 검색 시스템 및 그 방법
CN114143471B (zh) 图像处理方法、系统、移动终端及计算机可读存储介质
WO2023020190A1 (zh) 一种全景深图像合成方法、存储介质及智能手机
CN105451175A (zh) 一种记录照片定位信息的方法及装置
EP3619679B1 (en) Chromatic aberration modeling in image compression and enhancement
CN114039969A (zh) 一种数据传输方法及装置
WO2019000427A1 (zh) 一种图像处理方法、装置及电子设备
JP6622546B2 (ja) 画像処理装置及び方法
CN113284077A (zh) 图像处理方法、装置、通信设备及可读存储介质
KR20210082901A (ko) 두 단계 U-Net 구조 기반의 어긋난 데이터를 이용한 raw에서 RGB로의 매핑 방법, 이를 수행하기 위한 기록 매체 및 장치
CN112187851A (zh) 基于5g及边缘计算的多屏信息推送方法及装置
KR20210055260A (ko) 다양한 시점에서 연속적으로 획득된 영상을 활용한 카메라 자세 및 깊이 추정 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant