KR101225062B1 - 이미지 프레임의 선택적 출력 장치 및 방법 - Google Patents

이미지 프레임의 선택적 출력 장치 및 방법 Download PDF

Info

Publication number
KR101225062B1
KR101225062B1 KR1020060022875A KR20060022875A KR101225062B1 KR 101225062 B1 KR101225062 B1 KR 101225062B1 KR 1020060022875 A KR1020060022875 A KR 1020060022875A KR 20060022875 A KR20060022875 A KR 20060022875A KR 101225062 B1 KR101225062 B1 KR 101225062B1
Authority
KR
South Korea
Prior art keywords
image frame
frame
topic
main topic
image
Prior art date
Application number
KR1020060022875A
Other languages
English (en)
Other versions
KR20070092560A (ko
Inventor
방유선
김윤태
조희근
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060022875A priority Critical patent/KR101225062B1/ko
Priority to US11/714,829 priority patent/US8023769B2/en
Publication of KR20070092560A publication Critical patent/KR20070092560A/ko
Application granted granted Critical
Publication of KR101225062B1 publication Critical patent/KR101225062B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872—Repositioning or masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이미지 프레임의 선택적 출력 장치 및 방법에 관한 것으로서, 본 발명의 실시예에 따른 이미지 프레임의 선택적 출력 장치는, 사용자에 의해 선택된 메인 토픽을 표현하는 메인 토픽 프레임을 연속 이미지 프레임으로부터 추출하는 메인 토픽 프레임 추출부; 상기 메인 토픽 프레임으로부터 상기 메인 토픽을 구체화하는 핵심 객체를 추출하고 상기 메인 토픽 프레임과 시간적으로 이웃한 주변 프레임을 이용하여 상기 핵심 객체에 대한 배경 객체를 추정함으로써, 상기 핵심 객체와 상기 배경 객체를 이용한 합성 이미지 프레임을 생성하는 합성 이미지 프레임 생성부; 상기 연속 이미지 프레임 중 상기 합성 이미지 프레임과 공통 정보를 가지는 이미지 프레임 및 상기 합성 이미지 프레임을 포함하는 광역 이미지 프레임을 생성하는 광역 이미지 프레임 생성부; 상기 광역 이미지 프레임에 대하여 관심 영역을 설정하는 관심 영역 설정부; 및 상기 관심 영역을 출력하는 출력부를 포함한다.
메인 토픽, 합성 이미지 프레임, 광역 이미지 프레임

Description

이미지 프레임의 선택적 출력 장치 및 방법{Apparatus and method for outputting selectively image frame}
도 1은 본 발명의 실시예에 따른 이미지 프레임의 선택적 출력 장치의 전체 구성을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 합성 이미지 프레임의 생성 과정을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 광역 이미지 프레임의 생성 과정을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 이미지 프레임의 선택적 출력 방법의 전체 흐름을 나타내는 도면이다.
*도면의 주요 부분에 대한 설명*
100: 선택적 출력 장치 110: 메인 토픽 프레임 추출부
120: 합성 이미지 프레임 생성부 130: 광역 이미지 프레임 생성부
140: 관심 영역 설정부 150: 출력부
151: 영상 처리부 152: 해상도 조절부
본 발명은 이미지 프레임의 선택적 출력 장치 및 방법에 관한 것으로서, 더욱 상세하게는, 연속 이미지 프레임으로부터 사용자가 선택한 메인 토픽을 강조하는 광역 이미지 프레임을 생성하고 상기 광역 이미지 프레임 중 사용자가 관심을 가지는 영역을 선택하여 출력하는, 이미지 프레임의 선택적 출력 장치 및 방법에 관한 것이다.
일반적으로, 소스 장치에 의해 생성된 영상의 칼라를 출력 장치에서 정확하게 재현하기 위해서 영상의 명도(Lightness)와 채도(Chroma 또는 Saturation)와 색조(Hue) 등을 향상시키는 칼라 향상(Color Enhancement) 기술이 요구된다. 이러한 칼라 향상 기술은 연속적 이미지 프레임으로 구성된 동영상의 출력에도 적용될 수 있으며, 최근에는 동영상의 출력에 관해 관심이 증가하면서 동영상을 고화질로 출력하기 위한 기술에 관한 특허들이 개시되고 있다.
종래의 기술들을 살펴보면, 표면 감지(Face Detector)나 블러링 감지(Blurring Detector)나 움직임 분석(Motion Analyzer) 등을 이용하여 프린팅에 적합한 이미지 프레임을 자동으로 추출하는 기술(US 6298145), 공통 영상 정보를 이용하여 연속 이미지를 배열한 모자이크 이미지를 생성한 후 디스플레이 시스템에 맞게 모자이크 영상을 수정하여 디스플레이하는 기술(US 6393163), 연속 이미지 프레임으로부터 각 프레임의 특성을 나타내는 단일 스칼라 그래디언트(Single Scalar Gradient) 값을 계산하고, 스무딩 데이터에서 그래디언트 피크를 찾아낸 후 대응하는 이미지 프레임을 결정하는 기술(US 6724937), 배경 영상과 메인 영상을 합성하는 방법으로 경계를 결정한 후 두 영상의 각 부분을 선택하여 붙이는 기술(US 6940526) 등이 개시되고 있다.
상술한 바와 같은 종래의 기술들은 주로 동영상을 출력하기 위한 핵심 프레임(Key Frame)을 추출하는 기술, 또는 여러 이미지 프레임을 합성하거나 모자이크 영상을 생성하는 기술에 관한 것에 한정될 뿐이다.
따라서 종래의 기술에 영상 출력에 있어서 증가되는 사용자의 요구를 반영하지 못하는 문제점이 있다.
특히, 사용자의 관심이 반영된 토픽을 선택적으로 출력하도록 하는 기술에 대해서는 전혀 고려가 되지 못하고 있다. 즉, 출력할 때 사용자가 관심을 가지는 토픽을 선택적으로 반영한 이미지 프레임을 출력할 수 없다는 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 고안된 것으로서, 본 발명이 이루고자 하는 기술적 과제는, 사용자가 연속적 프레임으로부터 관심을 가지고 출력하고자 하는 메인 토픽을 선택하게 하고, 상기 메인 토픽이 반영된 이미지 프레임으로 구성된 광역 이미지 프레임을 생성하여 사용자가 선택한 관심 영역 만을 영상 처리하여 출력할 수 있는, 이미지 프레임의 선택적 출력 장치 및 방법을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위한 본 발명의 실시예에 따른 이미지 프레임의 선택적 출력 장치는, 사용자에 의해 선택된 메인 토픽을 표현하는 메인 토픽 프레임을 연속 이미지 프레임으로부터 추출하는 메인 토픽 프레임 추출부; 상기 메인 토픽 프레임으로부터 상기 메인 토픽을 구체화하는 핵심 객체를 추출하고 상기 메인 토픽 프레임과 시간적으로 이웃한 주변 프레임을 이용하여 상기 핵심 객체에 대한 배경 객체를 추정함으로써, 상기 핵심 객체와 상기 배경 객체를 이용한 합성 이미지 프레임을 생성하는 합성 이미지 프레임 생성부; 상기 연속 이미지 프레임 중 상기 합성 이미지 프레임과 공통 정보를 가지는 이미지 프레임 및 상기 합성 이미지 프레임을 포함하는 광역 이미지 프레임을 생성하는 광역 이미지 프레임 생성부; 상기 광역 이미지 프레임에 대하여 관심 영역을 설정하는 관심 영역 설정부; 및 상기 관심 영역을 출력하는 출력부를 포함한다.
또한, 상술한 목적을 달성하기 위한 본 발명의 실시예에 따른 이미지 프레임의 선택적 출력 방법은, (a) 사용자에 의해 선택된 메인 토픽을 표현하는 메인 토픽 프레임을 연속 이미지 프레임으로부터 추출하는 단계; (b) 상기 메인 토픽 프레임으로부터 상기 메인 토픽을 구체화하는 핵심 객체를 추출하고 상기 메인 토픽 프레임과 시간적으로 이웃한 주변 프레임을 이용하여 상기 핵심 객체에 대한 배경 객체를 추정함으로써, 상기 핵심 객체와 상기 배경 객체를 이용한 합성 이미지 프레임을 생성하는 단계; (c) 상기 연속 이미지 프레임 중 상기 합성 이미지 프레임과 공통 정보를 가지는 이미지 프레임 및 상기 합성 이미지 프레임을 포함하는 광역 이미지 프레임을 생성하는 단계; (d) 상기 광역 이미지 프레임에 대하여 관심 영역을 설정 하는 단계; 및 (e) 상기 관심 영역을 출력하는 단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 바람직한 실시예들에 의하여 미리 정의된, 이미지 프레임의 선택적 출력 장치 및 방법을 설명하기 위한 블럭도 또는 흐름도들을 참조하여 보다 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 이미지 프레임의 선택적 출력 장치의 전체 구성을 나타내는 도면이다. 상기 도 1을 참조하면, 이미지 프레임의 선택적 출력 장치(100)는 메인 토픽 프레임 추출부(110), 합성 이미지 프레임 생성부(120), 광역 이미지 프레임 생성부(130), 관심 영역 설정부(140), 및 영상 처리부(151)와 해상도 조절부(152)로 구성된 출력부(150)를 포함한다.
먼저, 사용자가 연속 이미지 프레임으로부터 중점적으로 출력하고 싶은 메인 토픽(Main Topic)을 선택하게 되면, 메인 토픽 프레임 추출부(110)는 상기 선택된 메인 토픽을 반영하는 비율이 소정 기준 이상인 메인 토픽 프레임(Main Topic Frame)을 상기 연속 이미지 프레임으로부터 추출하게 된다.
여기서, 상기 메인 토픽은 상기 연속 이미지 프레임에 의해 표현되는 전체적 내용으로부터 선택될 수 있는데, 구체적으로는 사람의 모습을 표현하는 인물 토픽, 자연의 풍경 등을 표현하는 풍경 토픽, 도심의 건물이나 집을 표현하는 구조물 토픽, 동물을 표현하는 동물 토픽 등이 될 수 있다. 예컨대 사용자에 의해 인물 토픽이 상기 메인 토픽으로 선택되어 졌다면, 상기 인물 토픽을 표현하는 객체가 디스플레이된 이미지 프레임에서 상기 인물 토픽을 표현하는 객체가 차지하는 면적 비율이나 인물의 스킨 색상이 차지하는 비율을 근거로 상기 메인 토픽을 반영하는 비율을 판단할 수 있다.
상기 반영 비율이 소정 기준 이상이 되는 프레임을 메인 토픽 프레임으로 추출하게 되는데, 소정 기준은 상기 메인 토픽 프레임에 표현되고 있는 객체 중 상기 메인 토픽을 반영하는 비율이 가장 높은 핵심 객체(Key Object)(즉, 상기에서 예로 든 인물 객체)가 이미지 프레임에서 차지하는 면적 비율의 문턱치, 또는 상기 인물 객체의 스킨 색상이 차지하는 색상 비율의 문턱치가 될 수 있다.
예를 들어, 사용자가 풍경과 인물이 혼합되어 있는 연속 이미지 프레임의 시퀀스에서 인물 토픽을 상기 메인 토픽으로 선택하였다면, 선택된 인물의 얼굴 색상과 얼굴 면적을 계산하여 상기 연속 이미지 프레임들 중에서 얼굴 영역의 면적이 상기에서 정해진 소정 문턱치 이상이거나 얼굴 영역의 색상이 상기에서 정해진 소정 문턱치 이상 되는 이미지 프레임들을 상기 메인 토픽 프레임으로 추출하게 되는 것이다. 반대로, 풍경에 관한 것을 메인 토픽으로 선택하였다면, 상기 얼굴 영역의 면 적이나 색상이 가장 작은 비중을 차지하는 이미지 프레임을 상기 메인 토픽 프레임으로 추출하게 될 것이다.
상기 메인 토픽 프레임을 추출하기 위해 소정 크기의 블럭 단위로 설정된 코스트 함수(Cost function)를 이용하여 상기 문턱치를 설정하고, 이미지 마스킹(Image Masking) 기법을 사용하여 윈도우의 크기를 증가시키면서 이미지 프레임에 표현된 객체의 면적이나 색상을 추정할 수 있다. 추정된 객체의 면적이나 색상의 관점에서 상기 메인 토픽을 반영하는 비율이 상기 문턱치 이상인 프레임을 메인 토픽 프레임으로 설정하는 사실에서 알 수 있듯이, 상기 메인 토픽 프레임은 반드시 단수의 프레임일 필요는 없으며 상기 메인 토픽의 반영 비율이 상기 문턱치 이상이면 메인 토픽 프레임으로 설정될 수 있기에 복수의 프레임일 수도 있다.
상기 메인 토픽 프레임이 추출된 후에는 합성 이미지 프레임 생성부(120)가 상기 메인 토픽 프레임으로부터 상기 핵심 객체를 추출하고, 상기 메인 토픽 프레임과 시간적으로 이웃한 주변 프레임을 이용하여 상기 핵심 객체에 대한 배경 객체를 추정하게 된다. 그리고, 합성 이미지 프레임 생성부(120)는 상기 핵심 객체와 상기 배경 객체를 이용하여 새로운 합성 이미지 프레임을 생성하게 되는데, 이는 도 2를 참조하여 설명하기로 한다.
도 2는 본 발명의 실시예에 따른 합성 이미지 프레임의 생성 과정을 나타내는 도면이다. 상기 도 2를 참조하면, 바다 위의 섬에 있는 나무를 메인 토픽으로 선택하였다고 가정할 경우에, 상술한 방식에 의해 추출된 두 개의 메인 토픽 프레임(201, 202)과 상기 메인 토픽 프레임(201, 202)과 시간적으로 이웃한 주변 프레임(203)을 이용하여 핵심 객체와 배경 객체를 각각 추출하게 된다. 즉, 상기 메인 토픽 프레임(201, 202)으로부터 사각형(201a, 202a)으로 표시된 영역에 포함된 핵심 객체들을 추출하고, 상기 주변 프레임(203)으로부터 사각형(203a, 203b)으로 표시된 영역에 포함된 배경 객체들을 추정한 후에 상기 핵심 객체들을 포함하는 영역(201a, 202a)과 상기 배경 객체들을 포함하는 영역(203a, 203b)을 합성하여 새로운 합성 이미지 프레임(204, 205)을 생성하게 되는 것이다.
상술한 방식에 의해 합성 이미지 프레임을 생성한 후에는, 광역 이미지 프레임 생성부(130)는 상기 연속 이미지 프레임 중 상기 합성 이미지 프레임과 공통 정보를 가지는 이미지 프레임, 및 상기 합성 이미지 프레임을 포함하는 광역 이미지(Wide Image) 프레임을 생성하게 되는데, 이는 도 3을 참조하여 설명하기로 한다.
상기 도 3은 본 발명의 실시예에 따른 광역 이미지 프레임의 생성 과정을 나타내는 도면이다. 상기 도 3을 참조하면, 자동차들의 모습을 메인 토픽으로 선택하였다고 가정할 경우에, 상기 301, 302, 및 303의 프레임 각각이 상기 도 2의 방식에 의해 생성된 합성 이미지 프레임이거나 상기 합성 이미지 프레임과 시공간적으로 이웃한 공통 정보를 포함하는 일반 이미지 프레임이 될 수 있다. 만약, 상기 합성 이미지 프레임을 생성하는 과정을 생략하고 바로 광역 이미지 프레임을 생성할 경우에는 301 내지 303 프레임은 상기 메인 토픽 프레임이나 상기 메인 토픽 프레임과 시간적으로 이웃한 주변 프레임으로 볼 수도 있을 것이다.
본 발명의 실시예에서는, 301의 프레임을 합성 이미지 프레임 생성부(120)에 의해 생성된 합성 이미지 프레임으로, 상기 302와 303의 프레임을 상기 합성 이미지 프 레임(301)과 공통 정보를 포함하는 이미지 프레임으로 가정한다면, 상기 세 개의 프레임(301 내지 303)을 이어 붙여서 광역 이미지 프레임(304)을 생성하게 된다.
이 경우 상기 프레임들(301 내지 303)을 이어 붙일 수 있기 위해서는 상기 프레임들간에 연관성이 있어야 한다. 이를 위해서, 본 발명의 실시예에서는, 상기 합성 이미지 프레임의 객체와 상기 합성 이미지 프레임과 공통 정보를 포함하는 이미지 프레임의 객체 간에 연관성을 비교한다. 본 발명의 실시예에서는 이러한 연관성을 파악하기 위하여 각각의 객체의 면적, 및 색상의 유사성을 비교한다. 그리고, 상기 비교 결과 그 유사성이 일정 기준 이상일 경우에는 해당 프레임들 간의 연관성이 있는 것으로 보아 상기 광역 이미지 프레임(304)을 생성할 수 있게 되고, 상기 유사성이 일정 기준 이하일 경우에는 해당 프레임들 간의 연관성이 없는 것으로 보아 해당 프레임을 상기 광역 이미지 프레임에서 제외하게 된다. 이와 같이 연관성을 비교하는 일정 기준을 두는 이유는 광역 이미지 프레임이 비현실적인 이미지로 표현되는 것을 방지하기 위함이다.
상술한 방식에 의해 광역 이미지 프레임(304)을 생성한 후에는 관심 영역 설정부(140)가 상기 광역 이미지 프레임(304)에 대하여 사용자가 출력하고자 하는 관심 영역을 설정하게 된다. 상기 도 3에서는 점선으로 표시된 영역(304a)이 상기 관심 영역으로 설정되고 있음을 알 수 있는데, 상기 관심 영역(304a)은 사용자에 의해 설정된 메인 토픽을 표현하고 있는 광역 이미지 프레임 중에서 사용자가 특히 강조하여 출력하고자 하는 부분으로서, 주로 상기 메인 토픽을 표현하는 객체를 포함하게 될 것이다. 한편, 상기 관심 영역(304a)을 설정하기 위해서, 상기 광역 이미지 프레임(304) 상에 위치와 크기를 조절할 수 있는 윈도우를 이동시키면서 상기 관심 영역을 설정할 수 있다.
상술한 방식에 의해 상기 관심 영역(304a)이 설정된 후에는, 출력부(150)에 의해서 상기 관심 영역 이미지(305)를 출력하게 된다.
그런데, 관심 영역 이미지(305)를 출력하기 전에 화질을 향상시키는 영상 처리를 할 수도 있으며, 출력 영상의 크기에 맞도록 해상도를 조절할 수도 있다. 즉, 영상 처리부(151)는 상기 관심 영역에 대해 상기 출력에 적합한 영상 처리를 하게 되는데, 예를 들어, 인물이 메인 토픽으로 선택된 경우에는 스킨색의 재현을 강화하기 위해 스무딩 필터링(smoothing filtering)을 적용할 수 있으며, 노이즈를 저감시키기 위한 노이즈 저감 알고리즘이나, 명도나 채도나 대비의 향상을 위한 알고리즘을 적용할 수도 있다.
또한, 해상도 조절부(152)는 상기 영상 처리된 관심 영역에 대해 해상도를 조절할 수 있는데, 예를 들어, 4 inch ⅹ 6 inch 크기의 이미지를 600 dpi(dot per inch)의 해상도로 출력하려면 2400 ⅹ 3600 픽셀 크기의 영상으로 해상도를 변환시켜야 한다. 해상도를 증가시키는 기법으로는 이미지 보간법(Image Interpolation)이나 초해상도(Super resolution) 기법을 사용할 수 있다.
상기와 같은 본 발명의 도 1에 도시되는 구성 요소로서, '~부'라는 용어는 소프트웨어, FPGA(Field Programmable Gate Array) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)와 같은 하드웨어 구성 요소를 의미하며, 어떤 기능들을 수행한다. 그렇지만, 소프트웨어 또는 하드웨어에 한정되는 의미는 아니 다. 상기 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 상기 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 상기 구성 요소가 제공하는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다. 뿐만 아니라, 상기 구성 요소들은 디바이스 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
이제, 본 발명의 실시예가 수행되는 시간적 단계의 전체적 흐름을 도 4를 참조하여 설명하기로 한다. 도 4는 본 발명의 실시예에 따른 이미지 프레임의 선택적 출력 방법의 전체 흐름을 나타내는 도면이다.
먼저, 메인 토픽 프레임 추출부(110)가 사용자에 의해 선택된 메인 토픽을 반영하는 비율이 소정 기준 이상인 메인 토픽 프레임을 연속 이미지 프레임으로부터 추출한다(S110). 그 다음으로, 합성 이미지 프레임 생성부(120)가 상기 메인 토픽 프레임으로부터 상기 메인 토픽을 표현하는 핵심 객체를 추출하고 상기 메인 토픽 프레임과 시간적으로 이웃한 주변 프레임을 이용하여 상기 핵심 객체에 대한 배경 객체를 추정함으로써, 상기 핵심 객체와 상기 배경 객체를 이용한 합성 이미지 프레임을 생성하게 된다(S120).
그 다음으로, 광역 이미지 프레임 생성부(130)는 상기 연속 이미지 프레임 중 상기 합성 이미지 프레임과 공통 정보를 가지는 이미지 프레임, 및 상기 합성 이미지 프레임을 포함하는 광역 이미지 프레임을 생성하게 된다(S130). 이 경우, 상기 합성 이미지 프레임의 객체 및 상기 합성 이미지 프레임과 공통 정보를 포함하는 이미지 프레임의 객체의 면적 및 색상의 유사성을 비교하고, 상기 비교 결과 상기 유사성이 일정 기준 이상일 경우에 상기 광역 이미지 프레임을 생성할 수 있다.
관심 영역 설정부(140)는 상기 광역 이미지 프레임에 대하여 관심 영역을 설정하는 단계(S140)를 수행하게 되는데, 상기 광역 이미지 프레임 상에 위치와 크기를 조절할 수 있는 윈도우를 이용하여 상기 관심 영역을 설정할 수 있다.
출력부(150)는 상기 관심 영역을 출력하는 단계(S150)를 수행하게 된다. 이 때, 영상 처리부(151)는 상기 관심 영역에 대해 출력에 적합한 영상 처리를 수행하며, 해상도 조절부(152)는 상기 영상 처리된 관심 영역에 대해 해상도를 조절하게 된다.
상술한 본 발명의 실시예들은 광색역 입력 영상을 획득하여 출력하는 칼라 레이터 프린터(Color laser printer), 포토 프린터(Photo printer), 잉크젯 프린터(Inkjet printer), 및 칼라 복합기(MFP) 등의 하드카피(Hardcopy) 출력 장치 및 PDP, LCD, 및 모바일 디스플레이 장치 등의 소프트카피(Softcopy) 출력 장치, 기타 영상 처리 소프트웨어 등 영상을 저장하거나 출력하는 장치들에 적용이 가능하다.
본 발명의 실시예에 따른 이미지 프레임의 선택적 출력 장치의 권리 범위는 상기와 같은 방법을 컴퓨터에서 실행하기 위한 프로그램 코드를 기록한 컴퓨터로 읽을 수 있는 기록 매체에도 미침은 당업자에게 자명하다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 벗어나지 않는 범위 내에서 여러 가지로 치환, 변형 및 변경이 가능하므로 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명의 실시예에 따르면, 연속 촬영된 동영상의 이미지 프레임들 중에서 사용자가 설정한 메인 토픽을 가장 잘 반영하는 메인 토픽 프레임을 검출하고, 이를 기반으로 영상을 합성하여 상기 메인 토픽을 잘 반영하는 객체를 중심으로 하는 광역 이미지 프레임을 구성한 후 상기 사용자가 관심 영역을 선택하여 출력할 수 있도록 함으로써, 동영상 출력시 사용자가 원하는 토픽 및 영역을 최적화하여 고화질로 출력할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

Claims (15)

  1. 사용자에 의해 선택된 메인 토픽을 표현하는 메인 토픽 프레임을 연속 이미지 프레임으로부터 추출하는 메인 토픽 프레임 추출부;
    상기 메인 토픽 프레임으로부터 상기 메인 토픽과 관련된 핵심 객체를 추출하고 상기 메인 토픽 프레임과 시간적으로 이웃한 주변 프레임으로부터 상기 메인 토픽과 무관한 배경 객체를 추출하고, 상기 추출된 핵심 객체와 상기 추출된 배경 객체를 이용한 합성 이미지 프레임을 생성하는 합성 이미지 프레임 생성부;
    상기 연속 이미지 프레임 중 상기 합성 이미지 프레임과 공통된 정보를 가지는 이미지 프레임을 생성하고, 상기 생성된 이미지 프레임과 상기 합성 이미지 프레임을 포함하는 광역 이미지 프레임을 생성하는 광역 이미지 프레임 생성부;
    상기 광역 이미지 프레임에 대하여, 사용자가 출력하고자 하는 대상인 관심 영역을 설정하는 관심 영역 설정부; 및
    상기 관심 영역을 출력하는 출력부를 포함하는, 이미지 프레임의 선택적 출력 장치.
  2. 제 1 항에 있어서,
    상기 출력부는,
    상기 관심 영역의 출력 전에 상기 관심 영역에 대해 영상 처리를 수행하는 영상 처리부; 및
    상기 영상 처리된 관심 영역에 대해 해상도를 조절하는 해상도 조절부를 포함하는, 이미지 프레임의 선택적 출력 장치.
  3. 제 1 항에 있어서,
    상기 메인 토픽은,
    상기 연속 이미지 프레임에 의해 표현되는 내용으로부터 사용자에 의해 선택되며, 인물 토픽, 풍경 토픽, 동물 토픽, 구조물 토픽 중 적어도 하나의 토픽을 포함하는, 이미지 프레임의 선택적 출력 장치.
  4. 제 1 항에 있어서,
    상기 메인 토픽 프레임 추출부는,
    상기 핵심 객체가 차지하는 면적 비율 또는 상기 핵심 객체의 색상 비율이 미리 설정된 소정 기준 이상인지 여부를 판단함으로써 상기 메인 토픽 프레임을 추출하는, 이미지 프레임의 선택적 출력 장치.
  5. 제 1 항에 있어서,
    상기 광역 이미지 프레임 생성부는,
    상기 합성 이미지 프레임과 공통 정보를 포함하는 이미지 프레임의 객체와 상기 합성 이미지 프레임의 객체 간에, 면적의 유사성 및 색상의 유사성을 비교하고, 상기 비교 결과 상기 유사성이 일정 기준 이상일 경우에 상기 합성 이미지 프레임과 상기 이미지 프레임을 이어 붙임으로써 상기 광역 이미지 프레임을 생성하는, 이미지 프레임의 선택적 출력 장치.
  6. 제 1 항에 있어서,
    상기 관심 영역 설정부는,
    상기 광역 이미지 프레임 상에 위치와 크기를 조절할 수 있는 윈도우를 이용하여 상기 관심 영역을 설정하는, 이미지 프레임의 선택적 출력 장치.
  7. 제 2 항에 있어서,
    상기 영상 처리부는,
    상기 관심 영역의 화질을 향상하기 위하여, 필터링 처리 또는 노이즈 저감 알고리즘을 수행하는, 이미지 프레임의 선택적 출력 장치.
  8. (a) 사용자에 의해 선택된 메인 토픽을 표현하는 메인 토픽 프레임을 연속 이미지 프레임으로부터 추출하는 단계;
    (b) 상기 메인 토픽 프레임으로부터 상기 메인 토픽과 관련된 핵심 객체를 추출하고 상기 메인 토픽 프레임과 시간적으로 이웃한 주변 프레임으로부터 상기 메인 토픽과 무관한 배경 객체를 추출하고, 상기 추출된 핵심 객체와 상기 추출된 배경 객체를 이용한 합성 이미지 프레임을 생성하는 단계;
    (c) 상기 연속 이미지 프레임 중 상기 합성 이미지 프레임과 공통 정보를 가지는 이미지 프레임을 생성하고, 상기 생성된 이미지 프레임과 상기 합성 이미지 프레임을 포함하는 광역 이미지 프레임을 생성하는 단계;
    (d) 상기 광역 이미지 프레임에 대하여, 사용자가 출력하고자 하는 대상인 관심 영역을 설정하는 단계; 및
    (e) 상기 관심 영역을 출력하는 단계를 포함하는, 이미지 프레임의 선택적 출력 방법.
  9. 제 8 항에 있어서,
    상기 (e) 단계는,
    (e1) 상기 관심 영역의 출력 전에 상기 관심 영역에 대해 영상 처리를 수행하는 단계; 및
    (e2) 상기 영상 처리된 관심 영역에 대해 해상도를 조절하는 단계를 포함하는, 이미지 프레임의 선택적 출력 방법.
  10. 제 8 항에 있어서,
    상기 메인 토픽은,
    상기 연속 이미지 프레임에 의해 표현되는 내용으로부터 사용자에 의해 선택되며, 인물 토픽, 풍경 토픽, 동물 토픽, 구조물 토픽 중 적어도 하나의 토픽을 포함하는, 이미지 프레임의 선택적 출력 방법.
  11. 제 8 항에 있어서,
    상기 (a) 단계는,
    상기 핵심 객체가 차지하는 면적 비율 또는 상기 핵심 객체의 색상 비율이 미리 설정된 소정 기준 이상인지 여부를 판단함으로써 상기 메인 토픽 프레임을 추출하는 단계를 포함하는, 이미지 프레임의 선택적 출력 방법.
  12. 제 8 항에 있어서,
    상기 (c) 단계는,
    상기 합성 이미지 프레임과 공통 정보를 포함하는 이미지 프레임의 객체와 상기 합성 이미지 프레임의 객체 간에, 면적의 유사성 및 색상의 유사성을 비교하고, 상기 비교 결과 상기 유사성이 일정 기준 이상일 경우에 상기 합성 이미지 프레임과 상기 이미지 프레임을 이어 붙임으로써 상기 광역 이미지 프레임을 생성하는 단계를 포함하는, 이미지 프레임의 선택적 출력 방법.
  13. 제 8 항에 있어서,
    상기 (d) 단계는,
    상기 광역 이미지 프레임 상에 위치와 크기를 조절할 수 있는 윈도우를 이용하여 상기 관심 영역을 설정하는 단계를 포함하는, 이미지 프레임의 선택적 출력 방법.
  14. 제 9 항에 있어서,
    상기 (e1) 단계는,
    상기 관심 영역의 화질을 향상하기 위하여, 필터링 처리 또는 노이즈 저감 알고리즘을 수행하는 단계를 포함하는, 이미지 프레임의 선택적 출력 방법.
  15. 제 8 항 내지 제 14 항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램 코드를 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020060022875A 2006-03-10 2006-03-10 이미지 프레임의 선택적 출력 장치 및 방법 KR101225062B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060022875A KR101225062B1 (ko) 2006-03-10 2006-03-10 이미지 프레임의 선택적 출력 장치 및 방법
US11/714,829 US8023769B2 (en) 2006-03-10 2007-03-07 Apparatus and method for selectively outputing image frames

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060022875A KR101225062B1 (ko) 2006-03-10 2006-03-10 이미지 프레임의 선택적 출력 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20070092560A KR20070092560A (ko) 2007-09-13
KR101225062B1 true KR101225062B1 (ko) 2013-01-23

Family

ID=38478997

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060022875A KR101225062B1 (ko) 2006-03-10 2006-03-10 이미지 프레임의 선택적 출력 장치 및 방법

Country Status (2)

Country Link
US (1) US8023769B2 (ko)
KR (1) KR101225062B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018135906A1 (ko) * 2017-01-20 2018-07-26 한화에어로스페이스(주) 카메라 및 카메라의 영상 처리 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101589560B1 (ko) * 2009-03-11 2016-01-28 엘지전자 주식회사 이동 단말기 및 그 명령 입력 방법
US9792363B2 (en) * 2011-02-01 2017-10-17 Vdopia, INC. Video display method
KR102375864B1 (ko) * 2015-02-10 2022-03-18 한화테크윈 주식회사 요약 영상 브라우징 시스템 및 방법
KR101648964B1 (ko) * 2015-04-02 2016-08-30 네이버 주식회사 자동 여백 생성을 이용하여 컨텐츠를 제공하는 시스템 및 방법
EP3144883A1 (en) * 2015-09-16 2017-03-22 Thomson Licensing Method and apparatus for sharpening a video image using an indication of blurring
WO2020081252A1 (en) * 2018-10-15 2020-04-23 Shutterstock, Inc. Image editor for merging images with generative adversarial networks
US10699458B2 (en) 2018-10-15 2020-06-30 Shutterstock, Inc. Image editor for merging images with generative adversarial networks
US10943377B2 (en) 2018-10-15 2021-03-09 Shutterstock, Inc. Creating images using image anchors and generative adversarial networks
JP6781783B2 (ja) * 2019-02-28 2020-11-04 レノボ・シンガポール・プライベート・リミテッド 情報処理装置及びその制御方法並びにプログラム
CN111753642B (zh) * 2020-05-09 2024-02-20 三生万物(北京)人工智能技术有限公司 一种确定关键帧的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR920011238A (ko) * 1990-11-29 1992-06-27 원본미기재 특정화상의 추출방법 및 시스템
US6393163B1 (en) 1994-11-14 2002-05-21 Sarnoff Corporation Mosaic based image processing system
KR20020067285A (ko) * 2001-02-16 2002-08-22 주식회사 이스턴정보통신 객체기반 영상 압축을 위한 배경설정방법
KR20040001300A (ko) * 2002-06-27 2004-01-07 백승헌 파노라마 영상이미지를 배경으로 하는 영상이미지합성편집 시스템 및 그 방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4954883A (en) * 1986-04-14 1990-09-04 Corporate Communications Consultants, Inc. Interweave picture comparison apparatus and method
JP3657769B2 (ja) * 1998-03-19 2005-06-08 富士写真フイルム株式会社 画像処理方法および画像処理装置
JPH11328443A (ja) 1998-05-12 1999-11-30 Synergy:Kk 三次元パノラマ画像生成システム、三次元パノラマ画像生成方法及び記録媒体
US6389169B1 (en) * 1998-06-08 2002-05-14 Lawrence W. Stark Intelligent systems and methods for processing image data based upon anticipated regions of visual interest
AUPP424698A0 (en) 1998-06-19 1998-07-16 Canon Kabushiki Kaisha A method of identifying image frames suitable for printing
US6633685B1 (en) * 1998-08-05 2003-10-14 Canon Kabushiki Kaisha Method, apparatus, and storage media for image processing
US6570612B1 (en) * 1998-09-21 2003-05-27 Bank One, Na, As Administrative Agent System and method for color normalization of board images
US6298145B1 (en) 1999-01-19 2001-10-02 Hewlett-Packard Company Extracting image frames suitable for printing and visual presentation from the compressed image data
JP2002010056A (ja) 2000-06-19 2002-01-11 Fuji Photo Film Co Ltd 画像合成装置
US6697523B1 (en) * 2000-08-09 2004-02-24 Mitsubishi Electric Research Laboratories, Inc. Method for summarizing a video using motion and color descriptors
US6833845B2 (en) * 2000-10-27 2004-12-21 Matsushita Electric Industrial Co., Ltd. Image object content generation device and padding device
WO2002050837A1 (en) * 2000-12-20 2002-06-27 Koninklijke Philips Electronics N.V. Menu generating method and recording device for a record carrier
US6670963B2 (en) * 2001-01-17 2003-12-30 Tektronix, Inc. Visual attention model
JP4840630B2 (ja) * 2001-06-27 2011-12-21 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2003061034A (ja) 2001-08-10 2003-02-28 Canon Inc 画像データ処理方法およびプリントシステム
US7197493B2 (en) * 2001-12-21 2007-03-27 Lifestory Productions, Inc. Collection management database of arbitrary schema
JP4253158B2 (ja) * 2002-03-29 2009-04-08 富士フイルム株式会社 画像処理装置、プログラム、画像処理方法、及び動画像の生産方法
KR100571788B1 (ko) 2004-01-20 2006-04-18 삼성전자주식회사 문서의 지정영역을 확대 출력하는 방법
JP4121026B2 (ja) * 2004-01-21 2008-07-16 富士フイルム株式会社 撮像装置および方法並びにプログラム
JP4424216B2 (ja) * 2004-03-30 2010-03-03 セイコーエプソン株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
US7292257B2 (en) * 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
US7694226B2 (en) * 2006-01-03 2010-04-06 Eastman Kodak Company System and method for generating a work of communication with supplemental context

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR920011238A (ko) * 1990-11-29 1992-06-27 원본미기재 특정화상의 추출방법 및 시스템
US6393163B1 (en) 1994-11-14 2002-05-21 Sarnoff Corporation Mosaic based image processing system
KR20020067285A (ko) * 2001-02-16 2002-08-22 주식회사 이스턴정보통신 객체기반 영상 압축을 위한 배경설정방법
KR20040001300A (ko) * 2002-06-27 2004-01-07 백승헌 파노라마 영상이미지를 배경으로 하는 영상이미지합성편집 시스템 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018135906A1 (ko) * 2017-01-20 2018-07-26 한화에어로스페이스(주) 카메라 및 카메라의 영상 처리 방법
US11037013B2 (en) 2017-01-20 2021-06-15 Hanwha Techwin Co., Ltd. Camera and image processing method of camera

Also Published As

Publication number Publication date
KR20070092560A (ko) 2007-09-13
US8023769B2 (en) 2011-09-20
US20070211962A1 (en) 2007-09-13

Similar Documents

Publication Publication Date Title
KR101225062B1 (ko) 이미지 프레임의 선택적 출력 장치 및 방법
US10200632B2 (en) Low-illumination photo capture with reduced noise and blur
Goyal et al. Fast and enhanced algorithm for exemplar based image inpainting
US8902326B2 (en) Automatic face and skin beautification using face detection
US8059911B2 (en) Depth-based image enhancement
US9495582B2 (en) Digital makeup
US20130169834A1 (en) Photo extraction from video
US20060088210A1 (en) Video image quality
WO2012000800A1 (en) Eye beautification
JP2008234342A (ja) 画像処理装置及び画像処理方法
EP2164040A1 (en) System and method for high quality image and video upscaling
US20170154437A1 (en) Image processing apparatus for performing smoothing on human face area
JP2007241424A (ja) 画像処理装置および画像処理方法
US20100020230A1 (en) Image processing apparatus and control method thereof
WO2012047229A1 (en) Combining multiple video streams
JP2007249436A (ja) 画像信号処理装置及び画像信号処理方法
US8280154B2 (en) Color processing apparatus and method thereof
JP2010152518A (ja) 画像処理装置及び画像処理方法
KR102338877B1 (ko) 딥러닝을 이용한 자가 촬영 영상의 화질 개선 방법
JP2006074483A (ja) 撮像装置
WO2017203941A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP3731741B2 (ja) カラー動画像処理方法および処理装置
JP4984247B2 (ja) 画像処理装置、画像処理方法及びプログラム
JPH1083033A (ja) 動画像のプリント方法
JP2005235238A (ja) 画像処理方法、装置および記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151217

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161219

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171219

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181220

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191217

Year of fee payment: 8