KR100988380B1 - 중요도 확산을 이용한 영상 리타겟팅 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치 - Google Patents

중요도 확산을 이용한 영상 리타겟팅 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치 Download PDF

Info

Publication number
KR100988380B1
KR100988380B1 KR1020080133487A KR20080133487A KR100988380B1 KR 100988380 B1 KR100988380 B1 KR 100988380B1 KR 1020080133487 A KR1020080133487 A KR 1020080133487A KR 20080133487 A KR20080133487 A KR 20080133487A KR 100988380 B1 KR100988380 B1 KR 100988380B1
Authority
KR
South Korea
Prior art keywords
image
pixel
importance
pixels
retargeting
Prior art date
Application number
KR1020080133487A
Other languages
English (en)
Other versions
KR20100074927A (ko
Inventor
이승용
조성현
김동연
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020080133487A priority Critical patent/KR100988380B1/ko
Publication of KR20100074927A publication Critical patent/KR20100074927A/ko
Application granted granted Critical
Publication of KR100988380B1 publication Critical patent/KR100988380B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

영상의 중요한 영역을 파악하고 중요한 영역의 왜곡을 최소화하면서 영상의 크기를 축소 또는 확대할 수 있도록 하는 중요도 확산을 이용한 영상 리타겟팅 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치가 개시된다. 중요도 확산을 이용한 영상 리타겟팅 방법은, (a) 영상의 픽셀별 중요도를 계산하는 단계와, (b) 계산된 픽셀별 중요도에 기초하여 영상을 리타겟팅하는 단계 및 (c) 영상에서 제거된 픽셀의 중요도를 제거된 픽셀의 주변 픽셀로 확산시키는 단계를 포함한다. 따라서 영상의 왜곡을 방지하고 정황 정보를 보존하는 동시에 중요한 픽셀을 보존할 수 있고, 휴대용 기기 등의 제약된 화면 크기에서 영상 정보를 효과적으로 전달할 수 있도록 할 수 있다.
영상, 리타겟팅, 중요도, 확산, 제거

Description

중요도 확산을 이용한 영상 리타겟팅 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치{IMAGE RETARGETING METHOD USING IMPORTANCE DIFFUSION, STORAGE MEDIUM OF STORING PROGRAM FOR EXECUTING THE SAME AND APPARATUS PERFORMING THE SAME}
본 발명은 영상 처리 방법에 관한 것으로서, 더욱 상세하게는 디지털 영상의 중요 정보를 유지하면서 비관심 정보는 삭제 또는 축소하는 영상 리타겟팅 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치에 관한 것이다.
최근 휴대폰이나 휴대용 멀티미디어 플레이어(Portable Media Player, PMP) 등과 같은 휴대용 기기의 사용이 확산되면서 상대적으로 작고 제약된 화면에서 영상 정보를 효과적으로 전달하기 위하여 영상의 중요한 영역의 왜곡을 최소화하면서 영상의 크기를 모바일 디스플레이의 크기에 맞게 변형하는 영상 리타겟팅(Image Retargeting) 및 비디오 리타겟팅(Video Retargeting)과 관련된 연구가 활발히 수행되고 있다. 기존의 단순한 크기 변경 기법은 영상의 중요한 정보나 중요하지 않은 정보에 대한 고려 없이 영상의 모든 부분을 동일하게 축소하기 때문에 중요한 정보를 보존하지 못하고, 종종 소실되는 결과를 낳게 된다. 따라서 영상의 정보를 보존하면서도 효과적으로 영상의 크기를 줄일 수 있는 방법이 필요하다.
종래의 영상 리사이징(Image Resizing) 또는 영상 스케일링(Image Scaling) 기술 분야에서, 영상에서 중요한 영역을 찾아 그 영역을 제외한 주변 부분을 잘라 버리는 방식(Image Cropping)의 시도가 이루어졌다. 이를 위해 영상의 다양한 특징들로부터 자동적으로 영상의 중요한 영역을 파악하는 방법 또는 중요한 영역을 찾기 위해 보다 복잡한 특징들을 사용하여 중요한 영역을 잘라내는 방법이 제시되어 단순한 영상 스케일링보다 뛰어난 결과를 보여주었다. 이러한 기술을 영상 리타겟팅(Image Regarting)이라 하며, 영상 리타겟팅은 영상의 중요한 영역을 파악하여 중요한 영역의 왜곡을 최소화하면서 영상의 크기를 축소 또는 확대하는 기술이다.
도 1은 영상 리타겟팅을 설명하기 위한 예시도이다. 도 1의 상단에 원본 영상이 나타나 있는데, 원본 영상의 크기는 342 x 410으로 휴대용 기기의 화면 크기인 342 x 250와 맞지 않다고 가정하자. 이러한 경우에 종래에는 도 1의 하단 좌측 화면과 같이 영상 스케일링(Image Scaling)을 통해 영상 비율을 화면과 맞추거나, 도 1의 하단 중간 화면과 같이 영상 자르기(Image Cropping)를 통해 영상 비율을 화면과 맞추는 방법이 사용되어 왔다. 그러나 도 1의 하단 우측에서 보는 바와 같이 영상 리타겟팅의 한 방법인 심 카빙(Seam Carving)을 이용하는 경우에는 단순히 영상의 크기만 변경되는 것이 아니라 영상 속의 중요한 객체 등의 정보는 유지하면서 주변의 비관심영역의 정보만 소실되는 것을 알 수 있다.
영상 리타겟팅의 몇 가지 기법을 살펴본다. 피쉬아이-뷰 와핑(Fisheye-View Warping) 방법은 중요한 영역은 확대하고 중요하지 않은 주변 영역은 삭제하지 않 고 축소하여 보여주는 방법으로서, 중요한 영역의 주변 영역이 지니고 있는 정황 정보까지 고려하는 방법이다. 세그멘테이션(Segmentation)에 기반한 방법은 영상에서 세그멘테이션을 통해 전경(Foreground) 물체를 잘라내고 배경 영상을 축소한 후 다시 전경을 합쳐서 영상의 크기를 효과적으로 줄이는 방법이다. 최근에 선보인 심(Seam)을 이용한 영상 및 비디오 리타겟팅 기술에서는 영상을 가로로 또는 세로로 가로지르는 심 중 가장 중요하지 않은 심을 찾는 심 연산자를 소개하고, 가장 중요하지 않은 심을 반복하여 빼거나 더함으로써 중요한 부분은 건드리지 않은 채 영상의 크기를 변경하는 방법이 제시되었다.
그러나 상술한 종래 방법의 경우 영상의 일부분이 잘려져 나가는 문제가 있고, 복잡한 세그멘테이션 과정을 거쳐야 한다는 단점이 있다. 또한 영상에 중요한 영역이 다수 존재하는 경우 중요한 영역 모두를 부각시키지 못하고 하나의 중요한 영역만을 확대해서 보여줄 수 있고, 특정한 형태의 영상에서만 작동한다는 한계가 있다.
따라서 본 발명의 제1 목적은 중요도 확산을 이용한 영상 리타겟팅 방법을 제공하는 것이다.
그리고 본 발명의 제2 목적은 상기와 같은 방법을 수행하는 디지털 처리 장치에 의해 실행될 수 있는 명령어의 프로그램이 유형적으로 구현되어 있으며, 상기 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체를 제공하는 것이다.
또한 본 발명의 제3 목적은 상기와 같은 방법을 수행하는 영상 리타겟팅 장치를 제공하는 것이다.
상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 실시예에 따른 중요도 확산을 이용한 영상 리타겟팅 방법은, (a) 영상의 픽셀별 중요도를 계산하는 단계와, (b) 계산된 상기 픽셀별 중요도에 기초하여 상기 영상을 리타겟팅하는 단계 및 (c) 상기 영상에서 제거된 픽셀의 중요도를 상기 제거된 픽셀의 주변 픽셀로 확산시키는 단계를 포함한다.
상기 (a) 단계는 픽셀의 밝기 값, 픽셀의 그라디언트 값 및 픽셀의 셀리언시 값 중 적어도 어느 하나에 기초하여 상기 픽셀별 중요도를 계산할 수 있다.
상기 (b) 단계는 계산된 상기 픽셀별 중요도에 기초하여 상기 영상의 행 또는 열을 삭제할 수 있다.
상기 (b) 단계는 상기 영상의 행 또는 열에 포함되는 픽셀의 중요도에 기초하여 상기 영상의 행 또는 열의 중요도를 산출하고, 산출된 상기 중요도가 가장 낮은 상기 영상의 행 또는 열을 삭제할 수 있다.
상기 (b) 단계는 계산된 상기 픽셀별 중요도에 기초하여 상기 영상에 대하여 심 카빙을 실행할 수 있다.
상기 (b) 단계는 상기 영상에 대하여 하기의 수학식,
Figure 112008088873501-pat00001
(여기서 x = {1,...,W}, sx = {1,...,H}, W는 상기 영상의 픽셀 단위 수평 방향 길이, H는 상기 영상의 픽셀 단위 수직 방향 길이, v는 픽셀의 중요도, fw는 수평 방향의 심의 중요도임)
에 따라 수평 방향의 심의 중요도를 산출하고, 산출된 상기 중요도가 가장 낮은 수평 방향의 심을 삭제할 수 있다.
상기 (b) 단계는 상기 영상에 대하여 하기의 수학식,
Figure 112008088873501-pat00002
(여기서 y = {1,...,H}, sy = {1,...,W}, H는 상기 영상의 픽셀 단위 수직 방향 길이, W는 상기 영상의 픽셀 단위 수평 방향 길이, v는 픽셀의 중요도, fh는 수직 방향의 심의 중요도임)
에 따라 수직 방향의 심의 중요도를 산출하고, 산출된 상기 중요도가 가장 낮은 수직 방향의 심을 삭제할 수 있다.
상기 (b) 단계는 이전에 제거된 픽셀의 중요도가 확산된 상기 영상을 리타겟팅할 수 있다.
상기 (c) 단계는 상기 영상에서 제거된 픽셀의 중요도를 하기의 수학식,
Figure 112008088873501-pat00003
(여기서 v는 픽셀의 중요도, (x, y)는 상기 영상에서 제거된 픽셀의 좌표, (x', y)는 (x, y)의 수평 방향 이웃 좌표, w는 가중치 함수, p는 확산 함수임)
에 따라 상기 제거된 픽셀의 수평 방향 주변 픽셀로 확산시킬 수 있다.
상기 (c) 단계는 상기 영상에서 제거된 픽셀의 중요도를 하기의 수학식,
Figure 112008088873501-pat00004
(여기서 v는 픽셀의 중요도, (x, y)는 상기 영상에서 제거된 픽셀의 좌표, (x, y')는 (x, y)의 수직 방향 이웃 좌표, w는 가중치 함수, p는 확산 함수임)
에 따라 상기 제거된 픽셀의 수직 방향 주변 픽셀로 확산시킬 수 있다.
상기 확산 함수 p는 단조 증가 함수일 수 있다.
상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 실시예에 따른 중요도 확산을 이용한 영상 리타겟팅 방법을 수행하는 디지털 처리 장치에 의해 실행될 수 있는 명령어의 프로그램이 유형적으로 구현되어 있으며, 상기 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체는, (a) 영상의 픽셀별 중요도를 계산하는 단계와, (b) 계산된 상기 픽셀별 중요도에 기초하여 상기 영상을 리타겟팅하는 단계 및 (c) 상기 영상에서 제거된 픽셀의 중요도를 상기 제거된 픽셀의 주변 픽셀로 확산시킬 수 있다.
상술한 본 발명의 제3 목적을 달성하기 위한 본 발명의 일 실시예에 따른 중요도 확산을 이용한 영상 리타겟팅 방법을 수행하는 영상 리타겟팅 장치는, 영상의 픽셀별 중요도를 계산하는 픽셀 중요도 계산부와, 계산된 상기 픽셀별 중요도에 기초하여 상기 영상을 리타겟팅하는 영상 리타겟팅부 및 상기 영상에서 제거된 픽셀의 중요도를 상기 제거된 픽셀의 주변 픽셀로 확산시키는 픽셀 중요도 확산부를 포함할 수 있다.
상기 픽셀 중요도 계산부는 픽셀의 밝기 값, 픽셀의 그라디언트 값 및 픽셀의 셀리언시 값 중 적어도 어느 하나에 기초하여 상기 픽셀별 중요도를 계산할 수 있다.
상기 영상 리타겟팅부는 계산된 상기 픽셀별 중요도에 기초하여 상기 영상의 행 또는 열을 삭제할 수 있다.
상기 영상 리타겟팅부는 상기 픽셀별 중요도에 기초하여 상기 영상에 대하여 심 카빙을 실행할 수 있다.
상기 영상 리타겟팅부는 이전에 제거된 픽셀의 중요도가 확산된 상기 영상을 리타겟팅할 수 있다.
상기 픽셀 중요도 확산부는 상기 영상에서 제거된 픽셀의 중요도를 하기의 수학식,
Figure 112008088873501-pat00005
(여기서 v는 픽셀의 중요도, (x, y)는 상기 영상에서 제거된 픽셀의 좌표, (x', y)는 (x, y)의 수평 방향 이웃 좌표, w는 가중치 함수, p는 확산 함수임)
에 따라 상기 제거된 픽셀의 수평 방향 주변 픽셀로 확산시킬 수 있다.
상기 픽셀 중요도 확산부는 상기 영상에서 제거된 픽셀의 중요도를 하기의 수학식,
Figure 112008088873501-pat00006
(여기서 v는 픽셀의 중요도, (x, y)는 상기 영상에서 제거된 픽셀의 좌표, (x, y')는 (x, y)의 수직 방향 이웃 좌표, w는 가중치 함수, p는 확산 함수임)
에 따라 상기 제거된 픽셀의 수직 방향 주변 픽셀로 확산시킬 수 있다.
상기 확산 함수 p는 단조 증가 함수일 수 있다.
상기와 같은 중요도 확산을 이용한 영상 리타겟팅 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치에 따르면, 영상의 왜곡을 방지하고 정황 정보를 보존하는 동시에 중요한 픽셀을 보존할 수 있고, 휴대용 기기 등의 제약된 화면 크기에서 영상 정보를 효과적으로 전달할 수 있다.
그리고 다양한 크기로 보다 효과적으로 이용하기 위해 영상의 크기를 변경하는 작업이나 많은 수의 영상들을 보다 효과적으로 검색하기 위해 영상의 크기를 작게 만들어 보는 썸네일(Thumbnail) 작업에 있어서, 영상의 중요한 정보를 보존하면서 영상의 크기를 줄일 수 있다.
또한 영상의 중요한 영역을 잘라내지 않고, 중요한 영역은 확대하고 중요하지 않은 영역은 축소해서 보여주므로, 전체 영상에 대한 정보를 보다 효과적으로 전달할 수 있으며, 픽셀(Pixel) 단위의 중요도를 바탕으로 부분 영역들을 축소하거나 확대하기 때문에 보다 다양한 영상에서 적용할 수 있다.
그리고 기존의 영상 리타겟팅 기법에 추가적으로 적용하여 영상 처리 결과의 품질을 보완할 수 있다. 예를 들어, 중요도 확산 기법을 심 카빙(Seam Carving) 기법에 적용하는 경우 보다 효과적인 영상 리타겟팅을 가능하게 할 수 있다.
나아가 UCC(User Created Content) 및 디지털 컨텐츠 시장에 있어서 일반인이 쉽게 사용할 수 있는 소프트웨어에 적용 가능하다. 예를 들어, 소형 디스플레이 장치를 구비하는 휴대용 기기에 적용되어 화면 크기에 맞게 자동으로 영상 크기를 조절하거나, 비디오 편집 소프트웨어에 적용되어 영상 크기가 크고 재생 시간이 긴 비디오 컨텐츠에 대하여 자동 프리뷰(Preview) 기능을 제공할 수 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르 게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 2는 본 발명의 일 실시예에 따른 중요도 확산을 이용한 영상 리타겟팅 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 우선 영상의 각 픽셀(Pixel) 별 중요도를 계산한다(S110).
도 3은 본 발명의 일 실시예에 따른 중요도 확산을 이용한 영상 리타겟팅 방법에 있어서 픽셀 중요도 계산 과정을 설명하기 위한 개념도이다. 원본 영상 내지 입력 영상(210)의 특정 픽셀에 대하여 그 픽셀의 픽셀 중요도(220)가 계산되는데, 픽셀 중요도(220) 계산에 이용되는 변수로서 밝기 값, 그라디언트, 샐리언시 등이 나타나 있다.
픽셀의 중요도를 산출하는 기초 자료 내지 중요도 계산에 이용되는 변수, 즉 중요도 척도로는 픽셀의 밝기(Brightness), 픽셀의 그라디언트(Gradient), 픽셀의 그라디언트의 절대값이나 제곱, HoG(Histogram of Gradient), 영상 샐리언시(Saliency), 엔트로피(Entropy), 세그맨테이션(Segmentation), 얼굴 인식 결과 등 다양한 것들이 이용될 수 있다. 중요도 척도는, 단독으로 또는 복수개가 동시에, 픽셀의 중요도를 산출하는 기초 자료로 이용될 수 있다. 예를 들어, 그라디언트 값만으로 픽셀 중요도를 계산할 수 있지만, 그라디언트 값과 샐리언시 값을 더한 결과나 곱한 결과에 따라 픽셀 중요도를 계산할 수도 있다.
픽셀의 중요도를 계산하는 척도의 예로서 픽셀 그라디언트를 산출하는 과정을 이하 설명한다. 먼저 컬러 영상의 경우 픽셀별 밝기 값을 계산하여 회색조(그레이 스케일, Gray Scale) 영상으로 변환한다. 컬러 영상이 RGB 색상 모드에 있고 각각의 컬러 채널을 (R,G,B)로 나타나는 경우, 픽셀의 밝기 값(L)은 예를 들어 아래의 수학식 1과 같이 계산할 수 있다. 수학식 1은 픽셀의 밝기 값(L)을 계산하는 하나의 예시일 뿐이며, 특정 픽셀의 밝기 값을 최종적으로 도출할 수 있는 어떠한 식도 사용할 수 있다.
Figure 112008088873501-pat00007
픽셀 그라디언트는 각 픽셀마다 2차원 값으로 정의된다. 영상에서 (x,y)의 픽셀 밝기 값을 p(x,y)라 할 때, 예를 들어, 픽셀 그라디언트의 x방향 성분(gx(x,y))은 p(x + 1,y) - p(x,y)로, y방향 성분(gy(x,y))은 p(x,y + 1) - p(x,y)로 정의될 수 있다. 또는, 예를 들어, x방향 성분(gx(x,y))은 p(x,y) - p(x - 1,y)와 같이 정의될 수도 있다. 픽셀 그라디언트의 크기(g(x,y))는, 예를 들어, 아래의 수학식 2와 같이 계산될 수 있다.
Figure 112008088873501-pat00008
그라디언트 크기가 크면 영상에서 색이 변하는 부분, 즉 물체의 경계와 같은 중요한 부분에 해당하므로, 픽셀 그라디언트 값이 클수록 해당 픽셀의 중요도가 높다. 상기 수학식 2에 따라 계산되는 픽셀 그라디언트 값은 0과 1 범위 내의 정규화된 값을 가지고, 정규화된 상기 픽셀 그라디언트 값을 픽셀 중요도로 사용할 수 있다.
다시 도 2를 참조하면, 영상의 픽셀별 중요도를 계산한(S110) 다음, 계산된 상기 픽셀별 중요도에 기초하여 영상을 리타겟팅한다(S120). 즉, 계산된 픽셀별 중요도에 기초하여 영상의 크기를 줄이기 위해 영상에서 가장 중요하지 않은 픽셀들을 차례로 제거한다.
예를 들어, 수평방향(가로), 수직방향(세로)의 픽셀 단위 길이가 각각 W, H인 영상이 있다고 할 때, 가로 길이를 한 픽셀 줄이기 위해서는 영상의 각각의 행에서 한 픽셀씩, 총 H개의 픽셀, 즉 한 열을 제거한다. 가로 길이를 더 줄이기 위해서는 한 열씩 줄이는 작업을 반복한다. 세로 길이를 한 픽셀 줄이는 과정도 유사한 방식으로 수행될 수 있다. 다만, 이렇게 각각의 행 또는 열에서 가장 중요도가 낮은 픽셀들을 찾아 줄이면, 영상의 행 또는 열들이 서로 어긋나 왜곡이 심해지므로, 이를 막기 위해 서로 인접한 픽셀들을 제거한다. 이는 행 및 열 삭제 과정 또는 심 카빙 과정을 통해 수행된다.
도 4는 본 발명의 일 실시예에 따른 중요도 확산을 이용한 영상 리타겟팅 방법에 있어서 행 및 열 삭제 과정을 설명하기 위한 개념도이다.
도 4를 참조하면, 8 x 8 픽셀 크기의 입력 영상(210)에 대하여 가장 중요도가 낮은 행을 삭제하면 7 x 8 픽셀 크기의 행 삭제 영상(211)이 생성되는 것을 볼 수 있다. 또한 8 x 8 픽셀 크기의 입력 영상(210)에 대하여 가장 중요도가 낮은 열을 삭제하면 8 x 7 픽셀 크기의 열 삭제 영상(212)이 생성되는 것을 볼 수 있다.
구체적으로, 행 및 열 삭제 과정에서는, 우선 영상의 각 픽셀마다 중요도를 계산한 후, 픽셀별 중요도에 기초하여 각 행 또는 열의 중요도를 계산하고, 각 행 또는 열의 중요도를 값으로 갖는 일차원 배열을 얻는다. 그리고 일차원 배열의 원소의 값을 참조하여, 가장 중요도가 낮은 행 또는 가장 중요도가 낮은 열을 제거한다. 순차적으로 가장 중요도가 낮은 행 또는 가장 중요도가 낮은 열을 선택하는 방법으로서 최소 힙(Min Heap) 자료 구조(Data Structure)를 사용할 경우, 최악의 시간복잡도는 O(mlogn)이다. 이때, m은 제거할 행의 개수이고, n은 입력 영상(210)의 행의 개수이다.
행 및 열 삭제 과정에서는 가장 중요하지 않은 행이나 열을 반복적으로 없애 나가게 된다. 단순히 가장 중요하지 않은 행 또는 열을 반복적으로 없앨 경우 영상에서 중요한 부분들만이 블록 단위로 남아 영상이 왜곡될 수 있으나, 후술할 중요도 확산 단계(S130)을 거친 영상에 대해 행 및 열 삭제 과정을 수행하면 보다 자연스러운 결과를 얻을 수 있다.
도 5는 본 발명의 일 실시예에 따른 중요도 확산을 이용한 영상 리타겟팅 방법에 있어서 심 카빙 과정을 설명하기 위한 개념도이다.
도 5를 참조하면, 8 x 8 픽셀 크기의 입력 영상(210)에 대하여 가장 중요도가 낮은 수평방향 심을 삭제하면 7 x 8 픽셀 크기의 심 카빙 영상(213)이 생성되는 것을 볼 수 있다. 또한 8 x 8 픽셀 크기의 입력 영상(210)에 대하여 가장 중요도가 낮은 수직방향 심을 삭제하면 8 x 7 픽셀 크기의 심 카빙 영상(214)이 생성되는 것을 볼 수 있다.
심 카빙 과정에서는 영상을 가로 또는 세로로 가로지르는 픽셀들의 집합인 심(Seam)을 사용하여 영상의 크기를 줄이게 된다. 수평 방향의 픽셀의 집합인 수평 방향 심(Sw)은 아래의 수학식 3과 같이 정의된다.
Figure 112008088873501-pat00009
여기서 x = {1,...W}, sx는 {1,...,H}이고, W는 영상의 픽셀 단위 수평 방향(가로) 길이, H는 영상의 픽셀 단위 수직 방향(세로) 길이이다. sx는 아래의 수학식 4를 만족한다.
Figure 112008088873501-pat00010
마찬가지로 수직 방향의 픽셀의 집합인 수직 방향 심(Sh)는 아래의 수학식 5와 같이 정의된다.
Figure 112008088873501-pat00011
여기서 y = {1,...H}, sy는 {1,...,W}이고, W는 영상의 픽셀 단위 수평 방향(가로) 길이, H는 영상의 픽셀 단위 수직 방향(세로) 길이이다. sy는 아래의 수학식 6을 만족한다.
Figure 112008088873501-pat00012
수평 방향 심(Sw)의 중요도 fw는 아래의 수학식 7과 같이 정의된다.
Figure 112008088873501-pat00013
여기서 v는 픽셀의 중요도이다.
마찬가지로 수직 방향 심(Sw)의 중요도 fh는 아래의 수학식 8과 같이 정의된다.
Figure 112008088873501-pat00014
심 카빙 기법은 다이나믹 프로그래밍(Dynamic Programming) 기법 기반의 최적화 방법을 사용하여 중요도가 가장 작은 심을 찾아 없애주는 작업을 반복적으로 수행함으로써 영상의 크기를 줄일 수 있다. 심 카빙 기법은 중요하지 않은 부분을 제거함으로써 왜곡이 생길 수 있으나, 후술하는 중요도 확산 단계(S130)을 거친 영 상에 대해 심 카빙 과정을 수행하면 보다 자연스러운 결과를 얻을 수 있다.
다시 도 2를 참조하면, 다음으로 상기 영상에서 제거된 픽셀의 중요도를 상기 제거된 픽셀의 주변 픽셀로 확산시킨다(S130).
중요도 확산은 영상의 크기를 줄이면서 삭제된 픽셀의 중요도를 주변 픽셀들로 확산시키는 방법이다. 이를 통해 삭제된 픽셀의 중요도를 상기 영상 리타겟팅 단계(S120)에서 계속 고려할 수 있게 된다.
도 6은 본 발명의 일 실시예에 따른 중요도 확산을 이용한 영상 리타겟팅 방법에 있어서 중요도 확산 과정을 설명하기 위한 개념도이다.
도 6을 참조하면, 8 x 8 픽셀 크기의 입력 영상(210)에서 (3,3) 좌표의 픽셀이 삭제되는 경우(맨위 맨왼쪽 픽셀이 (0,0) 좌표를 가지는 것으로 봄), (3,3) 좌표의 픽셀의 중요도는 주변 픽셀에 확산되고(S215), 중요도 확산이 이루어진 영상(216)은 다음 번 영상 리타겟팅(S120)의 입력 영상으로 이용될 수 있다.
영상을 수평 방향(가로)으로 한 픽셀 크기만큼 줄인다면, 즉 열 삭제 또는 수직 방향 심 카빙을 한다면, 상술한 영상의 픽셀별 중요도 계산 단계(S110) 및 영상 리타겟팅 단계(S120)를 거쳐 정하여진 픽셀들을 제거한 다음, 제거된 픽셀의 중요도를 아래의 수학식 9에 따라 주변 픽셀에 확산시킨다.
Figure 112008088873501-pat00015
여기서 (x,y)는 제거된 픽셀의 좌표이고, v는 각 픽셀의 중요도이며, (x',y)는 (x,y)의 수평 방향(가로) 이웃 좌표이고, w는 이웃 픽셀에 중요도를 얼마나 확산시킬지를 결정하는 가중치 함수이고, p는 확산 함수이다.
가중치 함수 w로는 아래의 수학식 10과 같은 다양한 함수가 사용될 수 있다.
Figure 112008088873501-pat00016
확산 함수 p는 제거되는 픽셀의 중요도를 얼마나 확산시킬 것인지를 결정하는 함수로서, p(v) = 0.5v, p(v) = v, 또는 p(v) = 0.1과 같은 함수가 사용될 수 있다. 확산 함수는 어떤 형태의 단조 증가 함수라도 사용 가능하다.
영상을 수직 방향(세로)으로 한 픽셀 크기만큼 줄인다면, 즉 행 삭제 또는 수평 방향 심 카빙을 한다면, 제거된 픽셀의 중요도를 상술한 바와 유사하게 아래의 수학식 11에 따라 주변 픽셀에 확산시킨다.
Figure 112008088873501-pat00017
중요도 확산은 단순한 행 및 열 삭제 기법과 심 카빙 기법에 적용되었을 때 영상 왜곡을 줄이면서도 정황 정보 및 중요한 부분을 보전해 줄 뿐만 아니라, 다운 샘플링을 균등한 샘플링(Uniform Sampling)과 비균등한 샘플링(Nonuniform Sampling) 사이에서 조절하는 것을 가능하게 한다.
다시 도 2를 참조하면, 영상 리타겟팅을 종료할지 여부를 판단한 후(S140), 영상 리타겟팅을 추가로 실행할 경우에는 제거된 픽셀의 중요도가 확산된 영상을 입력 영상으로 하여 영상 리타겟팅 단계(S120)부터 다시 반복하게 된다. 영상 리타겟팅을 추가로 실행하지 않는 경우에는 리타겟팅된 최종 결과 영상을 출력하고(S150) 종료한다.
도 7은 본 발명의 일 실시예에 따른 중요도 확산을 이용한 영상 리타겟팅 장치의 구성을 나타내는 블록도이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 중요도 확산을 이용한 영상 리타겟팅 장치는 픽셀 중요도 계산부(310), 영상 리타겟팅부(320) 및 픽셀 중요도 확산부(330)를 포함한다.
구체적으로, 픽셀 중요도 계산부(310)는 입력 영상에 대하여 각 픽셀의 중요도를 계산하고, 입력 영상 및 계산된 픽셀별 중요도를 출력한다.
영상 리타겟팅부(320)는 픽셀 중요도 계산부(310)로부터 입력 영상 및 픽셀별 중요도를 입력 받고, 픽셀별 중요도에 기초하여 입력 영상을 리타겟팅하며, 리타겟팅된 영상 및 제거된 픽셀들에 대한 정보를 출력한다. 영상 리타겟팅부(320)는 중요도가 낮은 행 및 열을 삭제하는 행 열 삭제부(321) 또는 중요도가 낮은 심을 삭제하는 심 카빙부(323)을 포함할 수 있다.
픽셀 중요도 확산부(330)는 영상 리타겟팅부(320)로부터 리타겟팅된 영상 및 제거된 픽셀들에 대한 정보를 입력 받고, 제거된 픽셀들의 중요도를 제거된 픽셀들의 주변 픽셀들로 확산시키고, 중요도 확산된 영상, 즉 리타겟팅된 영상 및 확산된 픽셀별 중요도를 다시 영상 리타겟팅부(320)에 제공한다.
픽셀 중요도 계산부(310), 영상 리타겟팅부(320) 및 픽셀 중요도 확산부(330)에 대하여는 본 발명의 일 실시예에 따른 중요도 확산을 이용한 영상 리타겟팅 방법에서 도 2 내지 도 6을 참조하여 영상의 픽셀별 중요도 계산 단계(S110), 영상 리타겟팅 단계(S120) 및 중요도 확산 단계(S130)에 대하여 설명한 바와 유사한 방식으로 용이하게 이해될 수 있으므로 이하 설명은 생략한다.
이상 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
도 1은 영상 리타겟팅을 설명하기 위한 예시도이다.
도 2는 본 발명의 일 실시예에 따른 중요도 확산을 이용한 영상 리타겟팅 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 중요도 확산을 이용한 영상 리타겟팅 방법에 있어서 픽셀 중요도 계산 과정을 설명하기 위한 개념도이다.
도 4는 본 발명의 일 실시예에 따른 중요도 확산을 이용한 영상 리타겟팅 방법에 있어서 행 및 열 삭제 과정을 설명하기 위한 개념도이다.
도 5는 본 발명의 일 실시예에 따른 중요도 확산을 이용한 영상 리타겟팅 방법에 있어서 심 카빙 과정을 설명하기 위한 개념도이다.
도 6은 본 발명의 일 실시예에 따른 중요도 확산을 이용한 영상 리타겟팅 방법에 있어서 중요도 확산 과정을 설명하기 위한 개념도이다.
도 7은 본 발명의 일 실시예에 따른 중요도 확산을 이용한 영상 리타겟팅 장치의 구성을 나타내는 블록도이다.
* 도면의 주요부분에 대한 부호의 설명 *
310 : 픽셀 중요도 계산부 320 : 영상 리타겟팅부
330 : 픽셀 중요도 확산부

Claims (20)

  1. (a) 영상을 리타겟팅 하는 방법에 있어 보존해야 하는 픽셀의 기준을 제공하는 영상의 픽셀별 중요도를 계산하는 단계;
    (b) 계산된 상기 픽셀별 중요도에 기초하여 상기 영상을 리타겟팅하는 단계; 및
    (c) 상기 영상에서 제거된 픽셀에 중요도를 상기 영상에서 제거된 픽셀의 주변 픽셀에 얼마나 확산시킬 지를 결정하는 소정의 가중치 함수 및 소정의 확산 함수 중 적어도 하나를 사용한 수식에 기초하여 상기 영상에서 제거된 픽셀의 중요도를 상기 제거된 픽셀의 주변 픽셀로 확산시키는 단계를 포함하는 영상 리타겟팅 방법.
  2. 제1항에 있어서,
    상기 (a) 단계는 픽셀의 밝기 값, 픽셀의 그라디언트 값 및 픽셀의 셀리언시 값 중 적어도 어느 하나에 기초하여 상기 픽셀별 중요도를 계산하는 것을 특징으로 하는 영상 리타겟팅 방법.
  3. 제1항에 있어서,
    상기 (b) 단계는 계산된 상기 픽셀별 중요도에 기초하여 상기 영상의 행 또는 열을 삭제하는 것을 특징으로 하는 영상 리타겟팅 방법.
  4. 제3항에 있어서,
    상기 (b) 단계는 상기 영상의 행 또는 열에 포함되는 픽셀의 중요도에 기초하여 상기 영상의 행 또는 열의 중요도를 산출하고, 산출된 상기 중요도가 가장 낮 은 상기 영상의 행 또는 열을 삭제하는 것을 특징으로 하는 영상 리타겟팅 방법.
  5. 제1항에 있어서,
    상기 (b) 단계는 계산된 상기 픽셀별 중요도에 기초하여 상기 영상에 대하여 심 카빙을 실행하는 것을 특징으로 하는 영상 리타겟팅 방법.
  6. 제5항에 있어서,
    상기 (b) 단계는 상기 영상에 대하여 하기의 수학식,
    Figure 112008088873501-pat00018
    (여기서 x = {1,...,W}, sx = {1,...,H}, W는 상기 영상의 픽셀 단위 수평 방향 길이, H는 상기 영상의 픽셀 단위 수직 방향 길이, v는 픽셀의 중요도, fw는 수평 방향의 심의 중요도임)
    에 따라 수평 방향의 심의 중요도를 산출하고, 산출된 상기 중요도가 가장 낮은 수평 방향의 심을 삭제하는 것을 특징으로 하는 영상 리타겟팅 방법.
  7. 제5항에 있어서,
    상기 (b) 단계는 상기 영상에 대하여 하기의 수학식,
    Figure 112008088873501-pat00019
    (여기서 y = {1,...,H}, sy = {1,...,W}, H는 상기 영상의 픽셀 단위 수직 방향 길이, W는 상기 영상의 픽셀 단위 수평 방향 길이, v는 픽셀의 중요도, fh는 수직 방향의 심의 중요도임)
    에 따라 수직 방향의 심의 중요도를 산출하고, 산출된 상기 중요도가 가장 낮은 수직 방향의 심을 삭제하는 것을 특징으로 하는 영상 리타겟팅 방법.
  8. 제1항에 있어서,
    상기 (b) 단계는 이전에 제거된 픽셀의 중요도가 확산된 상기 영상을 리타겟팅하는 것을 특징으로 하는 영상 리타겟팅 방법.
  9. 제1항에 있어서,
    상기 (c) 단계는 상기 영상에서 제거된 픽셀의 중요도를 하기의 수학식,
    Figure 112008088873501-pat00020
    (여기서 v는 픽셀의 중요도, (x, y)는 상기 영상에서 제거된 픽셀의 좌표, (x', y)는 (x, y)의 수평 방향 이웃 좌표, w는 가중치 함수, p는 확산 함수임)
    에 따라 상기 제거된 픽셀의 수평 방향 주변 픽셀로 확산시키는 것을 특징으로 하는 영상 리타겟팅 방법.
  10. 제1항에 있어서,
    상기 (c) 단계는 상기 영상에서 제거된 픽셀의 중요도를 하기의 수학식,
    Figure 112008088873501-pat00021
    (여기서 v는 픽셀의 중요도, (x, y)는 상기 영상에서 제거된 픽셀의 좌표, (x, y')는 (x, y)의 수직 방향 이웃 좌표, w는 가중치 함수, p는 확산 함수임)
    에 따라 상기 제거된 픽셀의 수직 방향 주변 픽셀로 확산시키는 것을 특징으로 하는 영상 리타겟팅 방법.
  11. 제9항 또는 제10항에 있어서,
    상기 확산 함수 p는 단조 증가 함수인 것을 특징으로 하는 영상 리타겟팅 방법.
  12. 중요도 확산을 이용한 영상 리타겟팅 방법을 수행하는 디지털 처리 장치에 의해 실행될 수 있는 명령어의 프로그램이 유형적으로 구현되어 있으며, 상기 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체는,
    (a) 영상을 리타겟팅 하는 방법에 있어 보존해야 하는 픽셀의 기준을 제공하는 영상의 픽셀별 중요도를 계산하는 단계;
    (b) 계산된 상기 픽셀별 중요도에 기초하여 상기 영상을 리타겟팅하는 단계; 및
    (c) 상기 영상에서 제거된 픽셀에 중요도를 상기 영상에서 제거된 픽셀의 주변 픽셀에 얼마나 확산시킬 지를 결정하는 소정의 가중치 함수 및 소정의 확산 함수 중 적어도 하나를 사용한 수식에 기초하여 상기 영상에서 제거된 픽셀의 중요도를 상기 제거된 픽셀의 주변 픽셀로 확산시키는 단계를 수행하는 프로그램을 기록한 기록매체.
  13. 영상을 리타겟팅 하는 방법에 있어 보존해야 하는 픽셀의 기준을 제공하는 영상의 픽셀별 중요도를 계산하는 픽셀 중요도 계산부;
    계산된 상기 픽셀별 중요도에 기초하여 상기 영상을 리타겟팅하는 영상 리타겟팅부; 및
    상기 영상에서 제거된 픽셀에 중요도를 상기 영상에서 제거된 픽셀의 주변 픽셀에 얼마나 확산시킬 지를 결정하는 소정의 가중치 함수 및 소정의 확산 함수 중 적어도 하나를 사용한 수식에 기초하여 상기 영상에서 제거된 픽셀의 중요도를 상기 제거된 픽셀의 주변 픽셀로 확산시키는 픽셀 중요도 확산부를 포함하는 영상 리타겟팅 장치.
  14. 제13항에 있어서,
    상기 픽셀 중요도 계산부는 픽셀의 밝기 값, 픽셀의 그라디언트 값 및 픽셀의 셀리언시 값 중 적어도 어느 하나에 기초하여 상기 픽셀별 중요도를 계산하는 것을 특징으로 하는 영상 리타겟팅 장치.
  15. 제13항에 있어서,
    상기 영상 리타겟팅부는 계산된 상기 픽셀별 중요도에 기초하여 상기 영상의 행 또는 열을 삭제하는 것을 특징으로 하는 영상 리타겟팅 장치.
  16. 제13항에 있어서,
    상기 영상 리타겟팅부는 상기 픽셀별 중요도에 기초하여 상기 영상에 대하여 심 카빙을 실행하는 것을 특징으로 하는 영상 리타겟팅 장치.
  17. 제13항에 있어서,
    상기 영상 리타겟팅부는 이전에 제거된 픽셀의 중요도가 확산된 상기 영상을 리타겟팅하는 것을 특징으로 하는 영상 리타겟팅 장치.
  18. 제13항에 있어서,
    상기 픽셀 중요도 확산부는 상기 영상에서 제거된 픽셀의 중요도를 하기의 수학식,
    Figure 112008088873501-pat00022
    (여기서 v는 픽셀의 중요도, (x, y)는 상기 영상에서 제거된 픽셀의 좌표, (x', y)는 (x, y)의 수평 방향 이웃 좌표, w는 가중치 함수, p는 확산 함수임)
    에 따라 상기 제거된 픽셀의 수평 방향 주변 픽셀로 확산시키는 것을 특징으로 하는 영상 리타겟팅 장치.
  19. 제13항에 있어서,
    상기 픽셀 중요도 확산부는 상기 영상에서 제거된 픽셀의 중요도를 하기의 수학식,
    Figure 112008088873501-pat00023
    (여기서 v는 픽셀의 중요도, (x, y)는 상기 영상에서 제거된 픽셀의 좌표, (x, y')는 (x, y)의 수직 방향 이웃 좌표, w는 가중치 함수, p는 확산 함수임)
    에 따라 상기 제거된 픽셀의 수직 방향 주변 픽셀로 확산시키는 것을 특징으로 하는 영상 리타겟팅 장치.
  20. 제18항 또는 제19항에 있어서,
    상기 확산 함수 p는 단조 증가 함수인 것을 특징으로 하는 영상 리타겟팅 장치.
KR1020080133487A 2008-12-24 2008-12-24 중요도 확산을 이용한 영상 리타겟팅 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치 KR100988380B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080133487A KR100988380B1 (ko) 2008-12-24 2008-12-24 중요도 확산을 이용한 영상 리타겟팅 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080133487A KR100988380B1 (ko) 2008-12-24 2008-12-24 중요도 확산을 이용한 영상 리타겟팅 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치

Publications (2)

Publication Number Publication Date
KR20100074927A KR20100074927A (ko) 2010-07-02
KR100988380B1 true KR100988380B1 (ko) 2010-10-18

Family

ID=42637398

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080133487A KR100988380B1 (ko) 2008-12-24 2008-12-24 중요도 확산을 이용한 영상 리타겟팅 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치

Country Status (1)

Country Link
KR (1) KR100988380B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022250402A1 (ko) * 2021-05-24 2022-12-01 삼성전자 주식회사 영상 처리 장치 및 그 동작방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101485497B1 (ko) * 2013-10-23 2015-01-22 연세대학교 산학협력단 아이콘 정렬정보에 기반한 배경화면 추천 장치 및 그 방법
KR101511907B1 (ko) * 2014-05-27 2015-04-17 연세대학교 산학협력단 콘텐츠 리타겟팅 방법 및 장치
CN104123720B (zh) * 2014-06-24 2017-07-04 小米科技有限责任公司 图像重定位方法、装置及终端
US9665925B2 (en) 2014-06-24 2017-05-30 Xiaomi Inc. Method and terminal device for retargeting images
KR102443630B1 (ko) * 2019-12-27 2022-09-15 주식회사 픽스트리 영상 비율을 확장 또는 축소하기 위한 영상 리타겟팅 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0737115A (ja) * 1993-07-20 1995-02-07 Fuji Electric Co Ltd 図形の拡大描画方法
JP2001136358A (ja) 1999-11-01 2001-05-18 Dainippon Printing Co Ltd トリミング画像作成装置およびトリミング枠位置情報作成装置
KR100727390B1 (ko) 2005-12-26 2007-06-12 삼성전자주식회사 적응적인 영상크기 변환장치 및 그의 영상크기 변환방법
JP2008059534A (ja) 2006-09-04 2008-03-13 Fujifilm Corp 画像トリミング装置、画像トリミング方法およびそのプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0737115A (ja) * 1993-07-20 1995-02-07 Fuji Electric Co Ltd 図形の拡大描画方法
JP2001136358A (ja) 1999-11-01 2001-05-18 Dainippon Printing Co Ltd トリミング画像作成装置およびトリミング枠位置情報作成装置
KR100727390B1 (ko) 2005-12-26 2007-06-12 삼성전자주식회사 적응적인 영상크기 변환장치 및 그의 영상크기 변환방법
JP2008059534A (ja) 2006-09-04 2008-03-13 Fujifilm Corp 画像トリミング装置、画像トリミング方法およびそのプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022250402A1 (ko) * 2021-05-24 2022-12-01 삼성전자 주식회사 영상 처리 장치 및 그 동작방법

Also Published As

Publication number Publication date
KR20100074927A (ko) 2010-07-02

Similar Documents

Publication Publication Date Title
KR100988380B1 (ko) 중요도 확산을 이용한 영상 리타겟팅 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치
Vaquero et al. A survey of image retargeting techniques
US8391593B2 (en) Image processing methods and systems
WO2017076040A1 (zh) 应用于连拍过程中的图像处理方法和装置
US8184928B2 (en) Combining seam carving an image resizing
US8213745B2 (en) Seam carving for image resizing
Hua et al. Similarity measure for image resizing using SIFT feature
Liu et al. $ L_ {0} $-regularized image downscaling
US8094973B2 (en) Content aware image resizing for text and contone images
Hashemzadeh et al. Content-aware image resizing: An improved and shadow-preserving seam carving method
US8983188B1 (en) Edge-aware smoothing in images
CN113822817A (zh) 文档图像增强方法、装置及电子设备
US8295647B2 (en) Compressibility-aware media retargeting with structure preserving
Zhang et al. Seam warping: a new approach for image retargeting for small displays
CN109447970B (zh) 基于能量转移和均匀缩放的图像重定向方法
JP2010286959A (ja) 顔画像高解像度化方法、顔画像高解像度化装置、及びそのプログラム
Wang et al. Compressibility-aware media retargeting with structure preserving
JP2007104706A (ja) 画像処理装置及び画像処理方法
US8457432B2 (en) High information density of reduced-size images of web pages
Kiess et al. SeamCrop for image retargeting
Srivastava et al. Fast content aware image retargeting
JP3684148B2 (ja) 画像処理方法及びその装置、記憶媒体
JP5614835B2 (ja) 画像レイアウト設定方法および装置
Chen et al. A new non-symmetry and anti-packing model and its application to image contrast enhancement
US8265413B2 (en) Digital image degraining filter and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130930

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140930

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee