KR101641175B1 - 이미지 리타겟팅 방법, 장치, 단말기, 프로그램 및 기록매체 - Google Patents

이미지 리타겟팅 방법, 장치, 단말기, 프로그램 및 기록매체 Download PDF

Info

Publication number
KR101641175B1
KR101641175B1 KR1020157001522A KR20157001522A KR101641175B1 KR 101641175 B1 KR101641175 B1 KR 101641175B1 KR 1020157001522 A KR1020157001522 A KR 1020157001522A KR 20157001522 A KR20157001522 A KR 20157001522A KR 101641175 B1 KR101641175 B1 KR 101641175B1
Authority
KR
South Korea
Prior art keywords
pixel point
image
offset vector
resolution
original
Prior art date
Application number
KR1020157001522A
Other languages
English (en)
Other versions
KR20160010389A (ko
Inventor
린 왕
타오 장
지준 첸
Original Assignee
시아오미 아이엔씨.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 시아오미 아이엔씨. filed Critical 시아오미 아이엔씨.
Publication of KR20160010389A publication Critical patent/KR20160010389A/ko
Application granted granted Critical
Publication of KR101641175B1 publication Critical patent/KR101641175B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06K9/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이미지 리타겟팅 방법, 장치, 단말기, 프로그램 및 기록매체에 관한 것으로서 컴퓨터 기술분야에 속한다. 상기 이미지 리타겟팅 방법은, 원본 이미지의 세일리언시 모델을 셋업하는 단계와, 세일리언시 모델에 근거하여 원본 이미지에서의 각 픽셀점의 세일리언시값을 산출하는 단계와, 각 픽셀점의 세일리언시값, 원본 이미지의 원본 해상도와 오브젝트 이미지의 오브젝트 해상도에 근거하여 오브젝트 이미지를 리타겟팅하는 단계를 포함한다. 상기 이미지 리타겟팅 장치는 모델셋업모듈, 수치산출모듈과 이미지 타겟팅모듈을 포함한다. 본 발명은 원본 이미지의 이미지 콘텐츠를 분석하여 중요한 픽셀점을 얻는 과정에서 조성한 분석과정이 너무 복잡하고 계산량이 매우 큰 문제를 해결할 수 있어 계산량을 저하시키는 효과에 도달하였다.

Description

이미지 리타겟팅 방법, 장치, 단말기, 프로그램 및 기록매체{METHOD, APPARATUS, TERMINAL, PROGRAM AND RECORDING MEDIUM FOR IMAGE RETARGETING}
본원 발명은 출원번호가 CN201410287125.7이고, 출원일자가 2014년 6월 24일인 중국특허출원에 기반하여 제출하였고, 상기 중국특허출원의 우선권을 주장하는 바, 상기 중국특허출원의 모든 내용은 본원 발명에 원용된다.
본 발명은 컴퓨터기술분야에 관한 것인 바 특히 이미지 리타겟팅 방법, 장치, 단말기, 프로그램 및 기록매체에 관한 것이다.
이미지 리타겟팅(image retargeting)기술은 이미지 콘텐츠에 기초하여 이미지에서의 중복 정보에 대하여 압축 변형 또는 컷팅하는 이미지 처리기술이다. 일반적으로 심카빙(seam carving) 알고리즘에 기초한 이미지 리타겟팅기술을 사용하여 이미지에서의 중복 정보를 제거할 수 있다.
심카빙 알고리즘을 이용하여 이미지 리타겟팅을 진행하는 과정에서 단말기는 먼저 원본 이미지에서의 각 픽셀점의 색상특징벡터를 획득하고 상기 색상특징벡터 및 원본 이미지의 이미지 콘텐츠, 이미지 해상도 등 파라미터에 근거하여 이미지에서의 중복도가 높은 픽셀점으로 조성된 픽셀라인을 결정하며 결정된 이러한 중복의 픽셀라인을 카빙하여 리타게팅한 후의 이미지를 얻는다.
발명인은 본 발명을 실현하는 과정에서 관련 기술에 적어도 하기와 같은 흠결이 존재함을 발견하였다. 컷팅알고리즘을 이용하여 이미지 리타겟팅을 진행할 때 단말기는 원본 이미지의 이미지 콘텐츠를 분석하여 중요한 픽셀점을 얻어야 하고 분석과정이 지나치게 복잡하며 계산량이 매우 크다.
관련 기술에서의 문제를 해결하기 위하여 본 발명은 이미지 리타겟팅 방법, 장치, 단말기, 프로그램 및 기록매체를 제공한다.
본 발명의 실시예의 제1양태에 근거하면,
원본 이미지의 세일리언시 모델을 셋업하는 단계와,
세일리언시 모델에 근거하여 원본 이미지에서의 각 픽셀점의 세일리언시값을 산출하는 단계와,
각 픽셀점의 세일리언시값, 원본 이미지의 원본 해상도와 오브젝트 이미지의 오브젝트 해상도에 근거하여 오브젝트 이미지를 리타겟팅하는 단계를 포함하는 이미지 리타겟팅 방법을 제공한다.
바람직하게 상기 각 픽셀점의 세일리언시값, 원본 이미지의 원본 해상도와 오브젝트 이미지의 오브젝트 해상도에 근거하여 오브젝트 이미지를 리타겟팅하는 단계는,
상기 원본 해상도와 상기 오브젝트 해상도에 근거하여 각 픽셀점의 초기 오프셋 벡터를 산출하는 단계와,
각 픽셀점에 있어서 상기 픽셀점의 세일리언시값과 상기 픽셀점의 초기 오프셋 벡터에 근거하여 상기 픽셀점의 최종 오프셋 벡터를 산출하는 단계와,
각각의 최종 오프셋 벡터에 근거하여 상기 오브젝트 이미지를 리타겟팅하는 단계를 포함한다.
바람직하게 상기 픽셀점의 세일리언시값과 상기 픽셀점의 초기 오프셋 벡터에 근거하여 상기 픽셀점의 최종 오프셋 벡터를 산출하는 단계는,
상기 픽셀점의 세일리언시값에 근거하여 상기 픽셀점의 변형계수를 산출하되 상기 세일리언시값과 상기 변형계수는 부적 상관 관계를 이루는 단계와,
상기 변형계수에 상기 초기 오프셋 벡터를 곱하여 상기 최종 오프셋 벡터를 얻는 단계를 포함한다.
바람직하게 상기 변형계수는
Figure 112015005943292-pct00001
이고,
여기서,
Figure 112015005943292-pct00002
는 좌표가 (x,y)인 픽셀점의 세일리언시값이고，
Figure 112015005943292-pct00003
는 모든 세일리언시값 중의 최소 세일리언시값이며
Figure 112015005943292-pct00004
는 모든 세일리언시값 중의 최대 세일리언시값이다.
바람직하게 상기 원본 해상도와 상기 오브젝트 해상도에 근거하여 각 픽셀점의 초기 오프셋 벡터를 산출하는 단계는,
상기 원본 해상도에 근거하여 원본 이미지영역을 결정하고 상기 원본 해상도와 상기 오브젝트 해상도에 근거하여 오브젝트 이미지영역을 결정하는 단계와,
상기 원본 이미지영역에서 예정된 개수의 제1특징점을 선택하고 상기 오브젝트 이미지영역에서 상기 예정된 개수의 제2특징점을 선택하되 상기 제1특징점과 상기 제2특징점은 서로 대응하는 단계와,
각각의 제1특징점과 대응하는 제2특징점사이의 참조 오프셋 벡터를 산출하는 단계와,
각각의 픽셀점에 있어서 상기 픽셀점과 n개의 제1특징점사이의 상대위치를 산출하되 상기 픽셀점은 상기 n개의 제1특징점으로 둘러싸인 밀폐영역에 위치하고n≥3이며 상기 상대위치와 상기 n개의 제1특징점과 대응하는 n개의 참조 오프셋 벡터에 근거하여 상기 픽셀점의 초기 오프셋 벡터를 산출하는 단계를 포함한다.
본 발명의 실시예의 제2양태에 근거하면 원본 이미지의 세일리언시 모델을 셋업하도록 구성된 모델셋업모듈,
상기 모델셋업모듈이 셋업한 상기 세일리언시모델에 근거하여 상기 원본 이미지에서의 각 픽셀점의 세일리언시값을 산출하도록 구성된 수치산출모듈,
상기 수치산출모듈이 산출해낸 각 픽셀점의 세일리언시값, 상기 원본 이미지의 원본 해상도와 오브젝트 이미지의 오브젝트 해상도에 근거하여 상기 오브젝트 이미지를 리타겟팅하도록 구성된 이미지 타겟팅모듈을 포함하는 이미지 리타겟팅 장치를 제공한다.
바람직하게 상기 이미지 타겟팅모듈은,
상기 원본 해상도와 상기 오브젝트 해상도에 근거하여 각 픽셀점의 초기 오프셋 벡터를 산출하도록 구성된 제1산출유닛,
각각의 픽셀점에 있어서 상기 픽셀점의 세일리언시값과 상기 제1산출유닛이 산출해낸 상기 픽셀점의 초기 오프셋 벡터에 근거하여 상기 픽셀점의 최종 오프셋 벡터를 산출하도록 구성된 제2산출유닛,
상기 제2산출유닛이 산출해낸 각 최종 오프셋 벡터에 근거하여 상기 오브젝트 이미지에 대하여 리타겟팅하도록 구성된 이미지 타겟팅유닛을 포함한다.
바람직하게 상기 제2산출유닛은,
상기 픽셀점의 세일리언시값에 근거하여 상기 픽셀점의 변형계수를 산출하되 상기 세일리언시값과 상기 변형계수는 부적 상관 관계를 이루도록 구성된 제1산출서브유닛,
상기 제1산출서브유닛이 산출해낸 상기 변형계수와 상기 초기 오프셋 벡터를 곱하여 상기 최종 오프셋 벡터를 얻도록 구성된 제2산출서브유닛을 포함한다.
바람직하게 상기 변형계수는
Figure 112015005943292-pct00005
이고,
여기서,
Figure 112015005943292-pct00006
는 좌표가 (x,y)인 픽셀점의 세일리언시값이고，
Figure 112015005943292-pct00007
는 모든 세일리언시값 중의 최소 세일리언시값이며
Figure 112015005943292-pct00008
는 모든 세일리언시값 중의 최대 세일리언시값이다.
바람직하게
상기 제1산출유닛은,
상기 원본 해상도에 근거하여 원본 이미지영역을 결정하고 상기 원본 해상도와 상기 오브젝트 해상도에 근거하여 오브젝트 이미지영역을 결정하도록 구성된 영역결정 서브유닛,
상기 영역결정 서브유닛이 결정한 상기 원본 이미지영역에서 예정된 개수의 제1특징점을 선택하고 상기 영역결정 서브유닛이 결정한 상기 오브젝트 이미지영역에서 상기 예정된 개수의 제2특징점을 선택하되 상기 제1특징점과 상기 제2특징점은 서로 대응하도록 구성된 특징점선택서브유닛,
상기 특징점선택서브유닛이 선택한 각각의 제1특징점과 대응하는 제2특징점사이의 참조 오프셋 벡터를 산출하도록 구성된 제3산출서브유닛,
각각의 픽셀점에 있어서 상기 픽셀점과 n개의 제1특징점사이의 상대위치를 산출하되 상기 픽셀점은 상기 n개의 제1특징점으로 둘러싸인 밀폐영역에 위치하고 n≥3이며 상기 상대위치와 상기 제3산출서브유닛이 산출해낸 상기 n개의 제1특징점과 대응하는 n개의 참조 오프셋 벡터에 근거하여 상기 픽셀점의 초기 오프셋 벡터를 산출하도록 구성된 제4산출서브유닛을 포함한다.
본 발명의 실시예의 제3양태에 근거하면,
프로세서,
프로세서가 수행 가능한 인스트럭션을 저장하기 위한 메모리를 포함하되,
여기서 상기 프로세서는
원본 이미지의 세일리언시 모델을 셋업하고,
세일리언시 모델에 근거하여 원본 이미지에서의 각 픽셀점의 세일리언시값을 산출하며,
각 픽셀점의 세일리언시값, 원본 이미지의 원본 해상도와 오브젝트 이미지의 오브젝트 해상도에 근거하여 오브젝트 이미지를 리타겟팅하도록 구성된 단말기를 제공한다.
본 발명의 실시예의 제4양태에 근거하면, 본 발명은, 프로세서에 의해 실행되는 것을 통하여 상기 이미지 리타겟팅 방법을 실현하는 기록매체에 저장되는 프로그램을 제공한다.
본 발명의 실시예의 제5양태에 근거하면, 본 발명은 상기 프로그램이 기록된 기록매체를 제공한다.
본 발명의 실시예에서 제공하는 기술적 해결수단은 하기와 같은 유리한 효과를 포함할 수 있다.
원본 이미지의 세일리언시 모델을 셋업함으로써 세일리언시 모델에 근거하여 원본 이미지에서 각 픽셀점의 세일리언시값을 산출하고 각 픽셀점의 세일리언시값, 원본 이미지의 원본 해상도와 오브젝트 이미지의 오브젝트 해상도에 근거하여 오브젝트 이미지에 대하여 리타겟팅하는데 픽셀점의 세일리언시가 높을수록 상기 픽셀점이 중요하므로 픽셀점의 세일리언시값에 근거하여 오브젝트 이미지에 대하여 리타겟팅하는 것, 즉 픽셀점의 중요성에 근거하여 오브젝트 이미지에 대하여 리타겟팅하고, 원본 이미지의 이미지 콘텐츠를 분석하여 중요한 픽셀점을 얻을 필요가 없게 되므로 원본 이미지의 이미지 콘텐츠를 분석하여 중요한 픽셀점을 얻는 과정에서 조성한 분석과정이 너무 복잡하고 계산량이 매우 큰 문제를 해결할 수 있고 계산량을 저하시키는 효과에 도달하였다.
이상의 일반적인 설명과 후술하는 세부적인 설명은 단지 예시적인 것이고 설명적인 것일 뿐 본 발명을 한정하는 것이 아님을 이해해야 할 것이다.
아래의 도면은 명세서의 일부분으로서 명세서 전체를 구성하며 본 발명에 맞는 실시예를 예시하여 명세서와 함께 본 발명의 원리를 해석하기 위한 것이다.
도1은 일 예시적 실시예에 따라 예시한 이미지 리타켓팅 방법의 흐름도이다.
도2a는 다른 일 예시적 실시예에 따라 예시한 이미지 리타겟팅 방법의 흐름도이다.
도2b는 본 예시적 실시예에 따라 예시한 초기 오프셋 벡터 산출환경의 설명도이다.
도2c는 본 예시적 실시예에 따라 예시한 제1특징점의 분포설명도이다.
도3은 일 예시적 실시예에 따라 예시한 이미지 리타겟팅 장치의 블록도이다.
도4는 일 예시적 실시예에 따라 예시한 이미지 리타겟팅 장치의 블록도이다.
도5는 일 예시적 실시예에 따라 예시한 이미지 리타겟팅 장치를 위한 블록도이다.
여기서, 예시적 실시예에 대해 상세하게 설명하고, 이를 첨부되는 도면에 예시적으로 나타냈다. 하기에서 첨부되는 도면에 대해 설명할 때, 별도로 표시하지 않는 한, 다른 도면의 동일한 숫자는 동일하거나 유사한 구성요소를 나타낸다. 하기의 예시적 실시예에서 설명한 실시형태는 본 발명과 일치한 모든 실시형태를 의미하는 것은 아니다. 반대로, 이들은 첨부된 특허청구범위에서 설명한, 본 발명의 일부 양태와 일치한 장치와 방법에 대한 예일 뿐이다.
도1은 일 예시적 실시예에 따라 예시한 이미지 리타켓팅 방법의 흐름도이고 상기 이미지 리타겟팅 방법은 단말기에 응용되며 도1에 도시된 바와 같이 상기 이미지 리타겟팅 방법은 하기와 같은 단계를 포함한다.
단계101에서, 원본 이미지의 세일리언시 모델을 셋업한다.
세일리언시 모델은 픽셀점의 세일리언시값이 이미지에서의 기타 상이한 색상값의 픽셀점 또는 색상값의 차이가 비교적 큰 픽셀점의 영향을 받음을 표시하기 위한 것이다.
단계102에서, 세일리언시 모델에 근거하여 원본 이미지에서 각 픽셀점의 세일리언시값(Saliency value)을 산출한다.
단계103에서, 각 픽셀점의 세일리언시값, 원본 이미지의 원본 해상도와 오브젝트 이미지의 오브젝트 해상도에 근거하여 오브젝트 이미지에 대하여 리타겟팅한다.
픽셀점의 세일리언시값이 높을수록 상기 픽셀점이 중요하므로 단말기는 원본 이미지에서의 각 픽셀점의 세일리언시값에 근거하여 각 픽셀점의 중요성을 결정하고 픽셀점의 중요성에 근거하여 원본 이미지를 원본 해상도로부터 오브젝트 해상도로 리타겟팅하여 오브젝트 이미지를 얻는다.
단말기는 픽셀점의 세일리언시값에 근거하여 중요한 픽셀점을 분석할 수 있고 원본 이미지에서의 이미지 콘텐츠를 분석하여 중요한 픽셀점을 얻을 필요가 없으므로 원본 이미지에 대한 리타겟팅 과정을 간소화하여，이미지 리타겟팅 과정에서의 계산량을 크게 저하시켰다.
상술한 바와 같이, 본 발명이 제공하는 이미지 리타겟팅 방법은 원본 이미지의 세일리언시 모델을 셋업함으로써 세일리언시 모델에 근거하여 원본 이미지에서 각 픽셀점의 세일리언시값을 산출하고 각 픽셀점의 세일리언시값, 원본 이미지의 원본 해상도와 오브젝트 이미지의 오브젝트 해상도에 근거하여 오브젝트 이미지에 대하여 리타겟팅하는데 픽셀점의 세일리언시가 높을수록 상기 픽셀점이 중요하므로 픽셀점의 세일리언시값에 근거하여 오브젝트 이미지에 대하여 리타겟팅하는 것, 즉 픽셀점의 중요성에 근거하여 오브젝트 이미지에 대하여 리타겟팅하고, 원본 이미지의 이미지 콘텐츠를 분석하여 중요한 픽셀점을 얻을 필요가 없게 되므로 원본 이미지의 이미지 콘텐츠를 분석하여 중요한 픽셀점을 얻는 과정에서 조성한 분석과정이 너무 복잡하고 계산량이 매우 큰 문제를 해결할 수 있고 계산량을 저하시키는 효과에 도달하였다.
도2a는 다른 일 예시적 실시예에 따라 예시한 이미지 리타겟팅 방법의 흐름도이고 상기 이미지 리타겟팅 방법은 단말기에 응용되면 도2a에 도시된 바와 같이 상기 이미지 리타겟팅 방법은 하기와 같은 단계를 포함한다.
단계201에서, 원본 이미지의 세일리언시 모델을 셋업한다.
세일리언시 모델은 픽셀점의 세일리언시값이 이미지에서의 기타 상이한 색상값의 픽셀점 또는 색상값의 차이가 비교적 큰 픽셀점의 영향을 받음을 표시하기 위한 것이다.
본 실시예에서는 세일리언시 모델을 셋업하는 두가지 방법을 제공하였고 셋업과정은 하기와 같다.
첫째, 예정된 과분할 알고리즘에 근거하여 원본 이미지를 과분할함으로써 적어도 하나의 영역을 얻고 동일한 영역에서 각 픽셀점의 색상값은 서로 같으며, 각 영역의 색상값과 질량 중심을 결정하고, 각 영역이 대응되는 색상값 및 각 영역의 질량 중심에 근거하여 세일리언시 모델을 셋업한다.
여기서 이미지를 과분할하는 것은 곧바로 이미지를 서로 다른 영역으로 분할하는 것인 바, 각 영역에서의 픽셀점이 어느 한 특성에서는 서로 같으며 예를 들어 분할된 후의 어느 한 영역에서의 각 픽셀점의 색상값은 서로 같거나 또는 분할된 후의 어느 한 영역에서의 각 픽셀점의 색상값은 매우 근접되어 있다.
분할된 후의 영역에서 각 픽셀점은 서로 같은 색상값을 갖고 있으므로 상기 영역의 색상값을 결정할 수 있고 각 영역에 대하여 영역이 대응되는 질량 중심을 산출해낼 수도 있다.
상기 방법에 근거하여 셋업한 세일리언시 모델은
Figure 112015005943292-pct00009
이다.
여기서
Figure 112015005943292-pct00010
는 영역
Figure 112015005943292-pct00011
에서 임의의 픽셀점의 세일리언시값이고
Figure 112015005943292-pct00012
는 영역
Figure 112015005943292-pct00013
에서의 픽셀점의 개수이며
Figure 112015005943292-pct00014
는 영역
Figure 112015005943292-pct00015
와 영역
Figure 112015005943292-pct00016
사이의 공간위치차이의 측정치를 표시하기 위한 것이고
Figure 112015005943292-pct00017
는 영역
Figure 112015005943292-pct00018
와 영역
Figure 112015005943292-pct00019
사이의 색상차이의 측정치를 표시하기 위한 것이며 N은 이미지를 분할한 후 얻은 영역의 총 개수이다.
Figure 112015005943292-pct00020
는
Figure 112015005943292-pct00021
이고
Figure 112015005943292-pct00022
는 영역
Figure 112015005943292-pct00023
의 질량 중심이며
Figure 112015005943292-pct00024
는 영역
Figure 112015005943292-pct00025
의 질량 중심이고 픽셀에서 각 픽셀점의 좌표가 모두 [0,1]로 프로그래밍 되었을 때
Figure 112015005943292-pct00026
이다.
Figure 112015005943292-pct00027
은 영역
Figure 112015005943292-pct00028
의 평균 색상값과 영역
Figure 112015005943292-pct00029
의 평균 색상값의 유클리드 거리로 표시할 수 있고 영역의 평균 색상값은 곧바로 상기 영역에서 각 픽셀점의 색상값 이후에 상기 영역에서 픽셀점을 나눈 개수이다.
둘째, 각 픽셀점의 색상값에 따라 원본 이미지에서의 각각의 픽셀점에 있어서 분류하되 서로 같은 색상값의 픽셀점을 동일한 색상타입으로 분류하고 각각의 색상타입의 색상값에 근거하여 세일리언시 모델을 셋업한다.
실제 응용에서 픽셀점을 저장하기 위한, 색상 값과 대응하는 저장공간을 설치할 수 있고 저장공간의 개수는 통상적으로 256*256*256개일 수 있으며 원본 이미지에서의 픽셀점을 차례로 판독하여 상기 픽셀점을 상기 픽셀점의 색상치와 대응하는 저장공간에 놓음으로써 각각의 저장공간에 보존한 각 픽셀점의 색상치는 모두 같게 된다.
상기 방법에 근거하여 셋업한 세일리언시 모델은
Figure 112015005943292-pct00030
이다.
여기서
Figure 112015005943292-pct00031
는 색상타입
Figure 112015005943292-pct00032
에서의 픽셀점의 개수이고
Figure 112015005943292-pct00033
는 색상타입
Figure 112015005943292-pct00034
과 색상타입
Figure 112015005943292-pct00035
사이의 색상차이의 측정치를 표시하기 위한 것이다.
Figure 112015005943292-pct00036
는 색상타입
Figure 112015005943292-pct00037
의 색상값과 색상타입
Figure 112015005943292-pct00038
의 색상값의 유클리드 거리로 표시할 수 있다.
단계202에서 세일리언시 모델에 근거하여 원본 이미지에서 각 픽셀점의 세일리언시값을 산출한다.
단말기는 단계201에서 제공하는 임의의 한가지 방법으로 세일리언시 모델을 셋업하고 획득한 세일리언시 모델에 근거하여 원본 이미지에서의 각 픽셀점의 세일리언시값을 산출할 수 있다.
단계203에서, 원본 해상도와 오브젝트 해상도에 근거하여 각 픽셀점의 초기 오프셋 벡터를 산출한다.
원본 해상도는 원본 이미지의 해상도를 가리키는 바 예를 들어 원본 해상도는60*60이다. 오브젝트 해상도는 원본 이미지에 대하여 이미지 리타겟팅을 한 후 얻은 오브젝트 이미지의 해상도를 가리키는 바 예를 들어 오브젝트 해상도는 40*60이다. 초기 오프셋 벡터는 원본 이미지를 원본 해상도로부터 같은 비율로 오브젝트 해상도로 줌할 때 픽셀점이 원본 이미지에서의 위치와 상기 픽셀점이 오브젝트 이미지에서의 위치사이의 오프셋 벡터를 가리킨다.
여기서, 원본 해상도와 오브젝트 해상도에 근거하여 각 픽셀점의 초기 오프셋 벡터를 산출하는 단계는,
1) 원본 해상도에 근거하여 원본 이미지영역을 결정하고 원본 해상도와 오브젝트 해상도에 근거하여 오브젝트 이미지영역을 결정하는 단계와,
2) 원본 이미지영역에서 예정된 개수의 제1특징점을 선택하고 오브젝트 이미지영역에서 예정된 개수의 제2특징점을 선택하되 제1특징점과 제2특징점은 서로 대응하는 단계와,
3) 각각의 제1특징점과 대응하는 제2특징점사이의 참조 오프셋 벡터를 산출하는 단계와,
4) 각각의 픽셀점에 있어서 픽셀점과 n개의 제1특징점사이의 상대위치를 산출하되 상기 픽셀점은 n개의 제1특징점으로 둘러싸인 밀폐영역에 위치하고 n≥3이며 상대위치와 n개의 제1특징점과 대응하는 n개의 참조 오프셋 벡터에 근거하여 픽셀점의 초기 오프셋 벡터를 산출하는 단계를 포함한다.
참조 오프셋 벡터는 원본 이미지를 원본 해상도로부터 같은 비율로 오브젝트 해상도로 줌할 때 선택된 특징점이 원본 이미지에서의 위치와 상기 특징점이 오브젝트 이미지에서의 위치사이의 오프셋 벡터를 가리킨다.
도2b에 도시된 초기 오프셋 벡터 산출환경의 설명도를 참조하면 도2b는 60*60의 원본 해상도와 40*60의 오브젝트 해상도를 예로 들어 설명하고 픽셀점을 단위로 좌표를 셋업하였다. 좌표에서 원본 이미지영역(210)이 x축에서의 값의 범위는 0~60이고, y축에서의 값의 범위는 0~60이며 오브젝트 이미지영역(220)이 x축에서의 값의 범위는 10~50이고, y축에서의 값의 범위는 0~60이다.
원본 이미지영역에서 모두 10*10개의 제1특징점을 선택한다고 가정하면 원본 이미지영역에서 10행을 선택하고 매 행마다 10개의 제1특징점을 선택하며 선택된 제1특징점의 좌표는 A(0,0), B(0,6), C(6,12)등 일 수 있다. 오브젝트 이미지영역에서 제1특징점과 대응하는 제2특징점을 선택해야 하므로 각 제1특징점이 선택한 제2특징점의 좌표는 A’(10,0), B’(10,4), C’(14,8)일 수 있다.
제1특징점A와 제2특징점A’가 대응되므로 A(0,0)와A’(10,0)에 근거하여 제1특징점A와 제2특징점A’사이의 참조 오프셋 벡터
Figure 112015005943292-pct00039
를 산출해낼 수 있다. 같은 도리로 기타 제1특징점과 제2특징점사이의 참조 오프셋 벡터를 산출할 수 있다.
각 참조 오프셋 벡터를 얻은 후 단말기는 원본 이미지영역에서의 각각의 n개의 제1특징점을 밀폐영역으로 둘러싸는데 n=3을 예로 들면 도2c에서 도시한 제1특징점의 분포설명도를 얻을 수 있다. 도2c에서 제1특징점의 분포설명도에서의 한 삼각형을 예로 들어 설명하면 상기 삼각형의 세개의 꼭지점은 세개의 제1특징점이고 흰색 원점으로 표시하며 상기 삼각형에 포함되는 픽셀점은 검은 색 원점으로 표시한다.
단말기는 각각의 픽셀점마다 상기 픽셀점을 포함하는 삼각형에서의 상대위치를 산출하고 상기 상대위치와 상기 삼각형으로 둘러싸인 3개의 제1특징점이 각각 대응하는 3개의 참조 오프셋 벡터에 근거하여 상기 픽셀점의 초기 오프셋 벡터를 산출함으로써 좌표가(x,y)인 픽셀점의 초기 오프셋 벡터
Figure 112015005943292-pct00040
를 얻을 수 있다.
단계204에서는, 각각의 픽셀점에 있어서 상기 픽셀점의 세일리언시값과 상기 픽셀점의 초기 오프셋 벡터에 근거하여 상기 픽셀점의 최종 오프셋 벡터를 산출한다.
최종 오프셋 벡터는 원본 이미지를 원본 해상도로부터 세일리언시값에 따라 오브젝트 해상도로 리타겟팅 할 때 픽셀점이 원본 이미지에서의 위치와 상기 픽셀점이 오브젝트 이미지에서의 위치사이의 오프셋 벡터를 가리킨다.
픽셀점의 세일리언시가 클수록 상기 픽셀점이 중요하므로 중요한 픽셀점의 초기 오프셋 벡터가 너무 큼으로 하여 조성하는 중요영역이 변형하는 문제를 방지하기 위하여 단말기는 세일리언시값에 근거하여 픽셀점의 초기 오프셋 벡터를 처리함으로써 세일리언시값이 높은 픽셀점의 초기 오프셋 벡터를 감소하고 이미지의 리타겟팅효과를 향상시켜야 한다.
여기서, 픽셀점의 세일리언시값과 픽셀점의 초기 오프셋 벡터에 근거하여 픽셀점의 최종 오프셋 벡터를 산출하는 단계는,
1) 픽셀점의 세일리언시값에 근거하여 픽셀점의 변형계수를 산출하되 상기세일리언시값과 변형계수는 부적 상관 관계를 이루는 단계와,
2) 변형계수에 초기 오프셋 벡터를 곱하여 최종 오프셋 벡터를 얻는 단계를 포함한다.
변형계수는 픽셀점에 대하여 이미지 변형을 진행할 때 곱한 계수를 가리키는 바 상기 변형계수와 픽셀점의 세일리언시값은 부적 상관 관계를 이룬다. 즉 픽셀점의 세일리언시값이 클수록 상기 픽셀점의 변형계수는 작고 픽셀점의 세일리언시값이 작을 수록 상기 픽셀점의 변형계수는 크다.
본 실시예에서 변형계수는
Figure 112015005943292-pct00041
이다.
여기서,
Figure 112015005943292-pct00042
는 좌표가 (x,y)인 픽셀점의 세일리언시값이고
Figure 112015005943292-pct00043
는 모든 세일리언시값 중의 최소 세일리언시값이며
Figure 112015005943292-pct00044
는 모든 세일리언시값 중의 최대 세일리언시값이다.
어느 한 픽셀점의 변형계수와 초기 오프셋 벡터를 얻은 후 변형계수에 초기 오프셋 벡터를 곱하여 상기 픽셀점의 최종 오프셋 벡터를 얻을 수 있다. 즉 픽셀점의 최종 오프셋 벡터는
Figure 112015005943292-pct00045
이다.
단계205에서, 각각의 최종 오프셋 벡터에 근거하여 오브젝트 이미지를 리타겟팅한다.
단말기는 최종 오프셋 벡터에 근거하여 원본 이미지를 원본 해상도로부터 오브젝트 해상도로 리타겟팅하여 오브젝트 이미지를 얻을 수 있다.
본 실시예에서 단말기는 픽셀점의 세일리언시값에 근거하여 중요한 픽셀점을 분석함으로써 중요한 픽셀점의 최종 오프셋 벡터를 감소하며 원본 이미지에서의 이미지 콘텐츠를 분석하여 중요한 픽셀점을 얻을 필요가 없으므로 원본 이미지에 대한 리타겟팅 과정을 간소화하여 이미지 리타겟팅 과정에서의 계산량을 크게 저하시켰다.
상술한 바와 같이 본 발명이 제공하는 이미지 리타겟팅 방법은 원본 이미지의 세일리언시 모델을 셋업함으로써 세일리언시 모델에 근거하여 원본 이미지에서 각 픽셀점의 세일리언시값을 산출하고 각 픽셀점의 세일리언시값, 원본 이미지의 원본 해상도와 오브젝트 이미지의 오브젝트 해상도에 근거하여 오브젝트 이미지에 대하여 리타겟팅하는데 픽셀점의 세일리언시가 높을수록 상기 픽셀점이 중요하므로 픽셀점의 세일리언시값에 근거하여 오브젝트 이미지에 대하여 리타겟팅하는 것, 즉 픽셀점의 중요성에 근거하여 오브젝트 이미지에 대하여 리타겟팅하고, 원본 이미지의 이미지 콘텐츠를 분석하여 중요한 픽셀점을 얻을 필요가 없게 되므로 원본 이미지의 이미지 콘텐츠를 분석하여 중요한 픽셀점을 얻는 과정에서 조성한 분석과정이 너무 복잡하고 계산량이 매우 큰 문제를 해결할 수 있고 계산량을 저하시키는 효과에 도달하였다.
이 외에 픽셀점의 세일리언시값에 근거하여 픽셀점의 변형계수를 산출하되 상기 세일리언시값과 변형계수는 부적 상관 관계를 이루고 변형계수에 초기 오프셋 벡터를 곱하여 최종 오프셋 벡터를 얻음으로써 세일리언시값이 높은 픽셀점의 최종 오프셋 벡터를 감소, 즉 주요영역의 변형을 감소할 수 있어 이미지의 리타겟팅 효과를 향상시킬 수 있다.
도3은 일 예시적 실시예에 따라 예시한 이미지 리타겟팅 장치의 블록도이고 상기 이미지 리타겟팅 장치는 단말기에 응용되며 도3에 도시된 바와 같이 상기 이미지 리타겟팅 장치는 모델셋업모듈(310), 수치산출모듈(320)과 이미지 타겟팅모듈(330)을 포함한다.
상기 모델셋업모듈(310)은 원본 이미지의 세일리언시 모델을 셋업하도록 구성된다.
상기 수치산출모듈(320)은 모델셋업모듈(310)이 셋업한 세일리언시모델에 근거하여 원본 이미지에서의 각 픽셀점의 세일리언시값을 산출하도록 구성된다.
상기 이미지 타겟팅모듈(330)은 수치산출모듈(320)이 산출해낸 각 픽셀점의 세일리언시값, 원본 이미지의 원본 해상도와 오브젝트 이미지의 오브젝트 해상도에 근거하여 오브젝트 이미지를 리타겟팅하도록 구성된다.
상술한 바와 같이 본 발명이 제공하는 이미지 리타겟팅 장치는 원본 이미지의 세일리언시 모델을 셋업함으로써 세일리언시 모델에 근거하여 원본 이미지에서 각 픽셀점의 세일리언시값을 산출하고 각 픽셀점의 세일리언시값, 원본 이미지의 원본 해상도와 오브젝트 이미지의 오브젝트 해상도에 근거하여 오브젝트 이미지에 대하여 리타겟팅하는데 픽셀점의 세일리언시가 높을수록 상기 픽셀점이 중요하므로 픽셀점의 세일리언시값에 근거하여 오브젝트 이미지에 대하여 리타겟팅하는 것, 즉 픽셀점의 중요성에 근거하여 오브젝트 이미지에 대하여 리타겟팅하고, 원본 이미지의 이미지 콘텐츠를 분석하여 중요한 픽셀점을 얻을 필요가 없게 되므로 원본 이미지의 이미지 콘텐츠를 분석하여 중요한 픽셀점을 얻는 과정에서 조성한 분석과정이 너무 복잡하고 계산량이 매우 큰 문제를 해결할 수 있고 계산량을 저하시키는 효과에 도달하였다.
도4는 일 예시적 실시예에 따라 예시한 이미지 리타겟팅 장치의 블록도이고 상기 이미지 리타겟팅 장치는 단말기에 응용되며 도4에 도시된 바와 같이 상기 이미지 리타겟팅 장치는 모델셋업모듈(310), 수치산출모듈(320)과 이미지 타겟팅모듈(330)을 포함한다.
상기 모델셋업모듈(310)은 원본 이미지의 세일리언시 모델을 셋업하도록 구성된다.
상기 수치산출모듈(320)은 모델셋업모듈(310)이 셋업한 세일리언시 모델에 근거하여 원본 이미지에서 각 픽셀점의 세일리언시값을 산출하도록 구성된다.
상기 이미지 타겟팅모듈(330)은 상기 수치산출모듈(320)이 산출해낸 각 픽셀점의 세일리언시값, 상기 원본 이미지의 원본 해상도와 오브젝트 이미지의 오브젝트 해상도에 근거하여 상기 오브젝트 이미지를 리타겟팅하도록 구성된다.
바람직하게 이미지 타겟팅모듈(330)은 제1산출유닛(331), 제2산출유닛(332)과 이미지 타겟팅유닛(333)을 포함한다.
상기 제1산출유닛(331)은 원본 해상도와 오브젝트 해상도에 근거하여 각 픽셀점의 초기 오프셋 벡터를 산출하도록 구성된다.
상기 제2산출유닛(332)은 각각의 픽셀점에 있어서 픽셀점의 세일리언시값과 제1산출유닛이 산출해낸 상기 픽셀점의 초기 오프셋 벡터에 근거하여 픽셀점의 최종 오프셋 벡터를 산출하도록 구성된다.
상기 이미지 타겟팅유닛(333)은 제2산출유닛(332)이 산출해낸 각 최종 오프셋 벡터에 근거하여 오브젝트 이미지에 대하여 리타겟팅하도록 구성된다.
바람직하게 제2산출유닛(332)은 제1산출서브유닛(3321)과 제2산출서브유닛(3322)을 포함한다.
상기 제1산출서브유닛(3321)은 픽셀점의 세일리언시값에 근거하여 픽셀점의 변형계수를 산출하되 세일리언시값과 변형계수는 부적 상관 관계를 이루도록 구성된다.
상기 제2산출서브유닛(3322)은 제1산출서브유닛(3321)이 산출해낸 변형계수와 초기 오프셋 벡터를 곱하여 최종 오프셋 벡터를 얻도록 구성된다.
바람직하게 변형계수는
Figure 112015005943292-pct00046
이고,
여기서
Figure 112015005943292-pct00047
는 좌표가 (x,y)인 픽셀점의 세일리언시값이고
Figure 112015005943292-pct00048
는 모든 세일리언시값 중의 최소 세일리언시값이며
Figure 112015005943292-pct00049
는 모든 세일리언시값 중의 최대 세일리언시값이다.
바람직하게 제1산출유닛(331)은 영역결정 서브유닛(3311), 특징점선택서브유닛(3312), 제3산출서브유닛(3313)과 제4산출서브유닛(3314)을 포함한다.
상기 영역결정 서브유닛(3311)은 원본 해상도에 근거하여 원본 이미지영역을 결정하고 원본 해상도와 오브젝트 해상도에 근거하여 오브젝트 이미지영역을 결정하도록 구성된다.
상기 특징점선택서브유닛(3312)은 영역결정 서브유닛(3311)이 결정한 원본 이미지영역에서 예정된 개수의 제1특징점을 선택하고 영역결정 서브유닛(3311)이 결정한 오브젝트 이미지영역에서 예정된 개수의 제2특징점을 선택하되 제1특징점과 제2특징점은 서로 대응하도록 구성된다.
상기 제3산출서브유닛(3313)은 특징점선택서브유닛(3312)이 선택한 각각의 제1특징점과 대응하는 제2특징점사이의 참조 오프셋 벡터를 산출하도록 구성된다.
상기 제4산출서브유닛(3314)은 각각의 픽셀점에 있어서 픽셀점과 n개의 제1특징점사이의 상대위치를 산출하되 픽셀점은 n개의 제1특징점으로 둘러싸인 밀폐영역에 위치하고 n≥3이며 상대위치와 제3산출서브유닛(3313)이 산출해낸 n개의 제1특징점과 대응하는 n개의 참조 오프셋 벡터에 근거하여 픽셀점의 초기 오프셋 벡터를 산출하도록 구성된다.
상술한 바와 같이 본 발명이 제공하는 이미지 리타겟팅 장치는 원본 이미지의 세일리언시 모델을 셋업함으로써 세일리언시 모델에 근거하여 원본 이미지에서 각 픽셀점의 세일리언시값을 산출하고 각 픽셀점의 세일리언시값, 원본 이미지의 원본 해상도와 오브젝트 이미지의 오브젝트 해상도에 근거하여 오브젝트 이미지에 대하여 리타겟팅하는데 픽셀점의 세일리언시가 높을수록 상기 픽셀점이 중요하므로 픽셀점의 세일리언시값에 근거하여 오브젝트 이미지에 대하여 리타겟팅하는 것, 즉 픽셀점의 중요성에 근거하여 오브젝트 이미지에 대하여 리타겟팅하고, 원본 이미지의 이미지 콘텐츠를 분석하여 중요한 픽셀점을 얻을 필요가 없게 되므로 원본 이미지의 이미지 콘텐츠를 분석하여 중요한 픽셀점을 얻는 과정에서 조성한 분석과정이 너무 복잡하고 계산량이 매우 큰 문제를 해결할 수 있고 계산량을 저하시키는 효과에 도달하였다.
이 외에 픽셀점의 세일리언시값에 근거하여 픽셀점의 변형계수를 산출하되 상기 세일리언시값과 변형계수는 부적 상관 관계를 이루고 변형계수에 초기 오프셋 벡터를 곱하여 최종 오프셋 벡터를 얻음으로써 세일리언시값이 높은 픽셀점의 최종 오프셋 벡터를 감소, 즉 주요영역의 변형을 감소할 수 있어이미지의 리타겟팅 효과를 향상시킬 수 있다.
상기 실시예의 장치에 관하여 그 중의 각 유닛이 동작을 수행하는 구체적인 방식은 이미 상기 방법과 관련한 실시예에서 상세히 설명하였으므로 여기서 더이상 상세히 설명하지 않는다.
본 발명의 일 예시적 실시예에서는 본 발명이 제공한 이미지 리타겟팅 방법을 실현할 수 있는 단말기를 제공하는 바 상기 단말기는 프로세서, 프로세서가 수행 가능한 인스트럭션을 저장하기 위한 메모리를 포함하되,
여기서 상기 프로세서는,
원본 이미지의 세일리언시 모델을 셋업하고,
세일리언시 모델에 근거하여 원본 이미지에서의 각 픽셀점의 세일리언시값을 산출하며,
각 픽셀점의 세일리언시값, 원본 이미지의 원본 해상도와 오브젝트 이미지의 오브젝트 해상도에 근거하여 오브젝트 이미지를 리타겟팅하도록 구성된다.
상기 실시예의 단말기에 관하여 여기서 프로세서가 동작을 수행하는 구체적인 방식은 이미 상기 방법과 관련한 실시예에서 상세히 설명하였으므로 여기서 더이상 상세히 설명하지 않는다.
도5는 일 예시적 실시예에 따라 예시한 이미지 리타겟팅 장치(500)의 블록도이다. 예를 들어 장치(500)는 휴대폰, 컴퓨터, 디지털방송단말기, 메시지송수신 기기, 게임 콘솔, 태블릿기기, 의료기기, 휘트니스기기, 개인 휴대 정보 단말기 등일 수 있다.
도5를 참조하면, 장치(500)는 프로세싱 어셈블리(502), 메모리(504), 전원 어셈블리(506), 멀티미디어 어셈블리(508), 오디오 어셈블리(510), 입력/출력(I/O)의 인터페이스(512), 센서 어셈블리(514) 및 통신 어셈블리(516)와 같은 하나 또는 다수의 어셈블리를 포함할 수 있다.
프로세싱 어셈블리(502)는 통상적으로 표시, 전화 호출, 데이터 통신, 카메라 동작 및 기록 동작과 관련한 장치(500)의 전체 동작을 제어한다. 프로세싱 어셈블리(502)는 상기의 방법의 전부 또는 일부 단계를 완성하도록 하나 또는 다수의 프로세서(518)를 포함하여 인스트럭션을 실행할 수 있다. 이 외에, 프로세싱 어셈블리(502)는 프로세싱 어셈블리(502)와 기타 어셈블리 사이의 교류가 편리하도록 하나 또는 다수의 모듈을 포함할 수 있다. 예를 들어, 프로세싱 어셈블리(502)는 멀티미디어 어셈블리(508)과 프로세싱 어셈블리(502)사이의 교류가 편리하도록 멀티미디어모듈을 포함할 수 있다.
메모리(504)는 단말기(500)의 작동을 지지하도록 각종 유형의 데이터를 저장한다. 이러한 데이터의 예시는 장치(500)에서 작동하기 위한 그 어느 하나의 어플리케이션 또는 방법의 인스트럭션, 연락인 데이터, 전화번호부 데이터, 메시지, 이미지, 동영상 등을 포함한다. 메모리(504)는스태틱 랜덤 액세스 메모리(SRAM), 전기적 소거 가능한 프로그램 가능 판독전용 메모리(EEPROM), 소거 및 프로그램 가능 판독전용 메모리(EPROM), 프로그램 가능 판독전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 디스크 또는 CD와 같은 모든 유형의 휘발성 또는 비휘발성 메모리 기기 또는 그들의 조합으로 이루어질 수 있다.
전원 어셈블리(506)는 장치(500)의 각종 어셈블리에 전력을 제공한다. 전원 어셈블리(506)은 전원관리시스템, 하나 또는 다수의 전원 및 장치(500)에 전력을 생성, 관리 및 분배하는 것과 관련된 기타 어셈블리를 포함할 수 있다.
멀티미디어 어셈블리(508)는 상기 장치(500)와 사용자 사이에 하나의 출력인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서, 스크린이 터치패널을 포함하면, 스크린은 사용자가 입력한 신호를 수신하도록 터치스크린으로 구현될 수 있다. 터치패널은 터치, 슬라이딩과 터치패널의 손동작을 감지하도록 하나 또는 다수의 터치센서를 포함한다. 상기 터치센서는 터치 또는 슬라이딩 작동의 경계를 감지할 수 있을 뿐만 아니라 상기 터치 또는 슬라이딩 작동과 관련한 지속시간과 압력도 검출할 수 있다. 일부 실시예에서, 멀티미디어 어셈블리(508)는 프론트 카메라 및/또는 리어 카메라를 포함한다. 장치(500)가 동작모드, 예를 들어 촬영모드 또는 동영상모드일 경우, 프론트 카메라 및/또는 리어 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 매 하나의 프론트 카메라와 리어 카메라는 하나의 고정된 광학렌즈 시스템이거나 초점거리와 광학 줌 능력을 가질 수 있다.
오디오 어셈블리(510)는 오디오신호를 출력 및/또는 입력한다. 예를 들어, 오디오 어셈블리(510)는 하나의 마이크(MIC)를 포함하는바, 장치(500)가 작동모드, 예를 들어 호출모드, 기록모드 및 음성인식모드 일 경우 마이크는 외부의 오디오신호를 수신한다. 수신된 오디오신호는 진일보로 메모리(504)에 저장되거나 통신 어셈블리(516)를 거쳐 발송될 수 있다. 일부 실시예에서, 오디오 어셈블리(510)는 오디오신호를 출력하기 위한 하나의 스피커를 더 포함한다.
I/O 인터페이스(512)는 프로세싱 어셈블리(502)와 주변 인터페이스모듈 사이에 인터페이스를 제공하되 상기 주변 인터페이스모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈버튼, 음량버튼, 작동버튼과 잠금버튼을 포함하나 이에 한정하지는 않는다.
센서 어셈블리(514)는 하나 또는 다수의 센서를 포함하여 장치(500)에 여러 방면의 상태평가를 제공한다. 예를 들어, 센서 어셈블리(514)는 장치(500)의 온오프상태, 어셈블리의 상대위치, 예를 들어, 상기 어셈블리는 장치(500)의 모니터와 키패드를 검출할 수 있고, 센서 어셈블리(514)는 장치(500) 또는 장치(500)의 한 어셈블리의 위치변화, 사용자와 장치(500)의 접촉여부, 장치(500) 방위 또는 가속/감속과 장치(500)의 온도변화를 검출할 수 있다. 센서 어셈블리(514)는 아무런 물리적 접촉이 없을 경우, 주변 물체의 존재를 검출하도록 구성된 근접센서를 포함할 수 있다. 센서 어셈블리(514)는 COMS 또는 CCD 이미지 센서와 같은 광센서를 더 포함하여 이미지응용에 사용한다. 일부 실시예에서, 상기 센서 어셈블리(514)는 가속도센서, 자이로센서, 자기센서, 압력센서 또는 온도센서를 더 포함할 수 있다.
통신 어셈블리(516)는 장치(500)와 기타 기기사이의 유선 또는 무선방식의 통신이 편리하도록 한다. 장치(500)는 통신표준에 의한 무선인터넷, 예를 들어, WiFi, 2G 또는3G 또는 이들의 조합을 접입할 수 있다. 일 예시적 실시예에서, 통신 어셈블리(516)는 방송신호를 거쳐 외부방송관리시스템의 방송신호 또는 방송과 관련한 정보를 수신한다. 일 예시적 실시예에서, 상기 통신 어셈블리(516)는 근거리 통신을 촉진하도록 근거리 자기장 통신(NFC)모듈을 더 포함할 수 있다. 예를 들어, 무선 주파수 인식(RFID)기술, 적외선 통신 규격(IrDA)기술, 초광대역(UWB)기술, 블루투스(BT)기술과 기타 기술에 기반하여 실현할 수 있다.
예시적 실시예에서 장치(500)는 상기 방법을 수행하도록 하나 또는 복수개의 응용 주문형 집적 회로(ASIC), 디지털신호 프로세스(DSP), 디시털 신호 처리기기(DSPD), 프로그램 가능 논리 소자(PLD), 필드 프로그램 가능 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 기타 전자 부품에 의해 실현될 수 있다.
예시적 실시예에서는 인스트렉션을 포함하는 비일시적 컴퓨터 판독 가능한 기록 매체, 예를 들어 상기 방법을 완성하도록 장치(500)의 프로세서(518)가 실행하는 인스트렉션을 포함하는 메모리(504)를 더 제공한다. 예를 들어 상기 비일시적 컴퓨터 판독 가능한 기록 매체는 ROM, 랜덤 액세스 메모리(RAM), CD-ROM, 테이프, 플로피 디스켓과 광 데이터 저장기기 등일 수 있다.
본 발명이 속하는 기술분야에서 통상의 지식을 가진 자들은 명세서를 고려하여 여기서 공개한 발명을 실시한 후 본 발명의 기타 실시형태를 용이하게 생각해 낼 수 있다. 본원 발명은 본 발명의 모든 변형, 용도 또는 적응성 변화를 포함하고 이러한 변형, 용도 또는 적응성 변화는 본 발명의 일반적인 원리를 따르며 본 발명이 공개하지 않은 본 기술분야에서의 공지된 상식 또는 통상적인 기술수단을 포함한다. 명세서와 실시예는 예시적인 것일 뿐 본 발명의 진정한 범위와 기술적 사상은 하기의 청구범위에 의해 밝혀질 것이다.
본 발명은 상기에서 설명하고 도면에서 도시한 정확한 구조에만 제한되는 것이 아니라 그 범위를 벗어나지 않는 한 여러가지 수정과 변경을 할 수 있음을 이해해야 한다. 본 발명의 범위는 첨부되는 청구범위에 의해서만 한정된다.

Claims (13)

  1. 원본 이미지의 세일리언시 모델을 셋업하는 단계와,
    상기 세일리언시 모델에 근거하여 원본 이미지에서의 각 픽셀점의 세일리언시값(Saliency value)을 산출하는 단계와,
    각 픽셀점의 세일리언시값, 원본 이미지의 원본 해상도와 오브젝트 이미지의 오브젝트 해상도에 근거하여 오브젝트 이미지를 리타겟팅하는 단계를 포함하되,
    상기 각 픽셀점의 세일리언시값, 원본 이미지의 원본 해상도와 오브젝트 이미지의 오브젝트 해상도에 근거하여 오브젝트 이미지를 리타겟팅하는 단계는,
    상기 원본 해상도와 상기 오브젝트 해상도에 근거하여 각 픽셀점의 초기 오프셋 벡터를 산출하는 단계와,
    각각의 픽셀점에 있어서 상기 픽셀점의 세일리언시값과 상기 픽셀점의 초기 오프셋 벡터에 근거하여 상기 픽셀점의 최종 오프셋 벡터를 산출하는 단계와,
    각각의 최종 오프셋 벡터에 근거하여 상기 오브젝트 이미지를 리타겟팅하는 단계를 포함하는 이미지 리타겟팅 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 픽셀점의 세일리언시값과 상기 픽셀점의 초기 오프셋 벡터에 근거하여 상기 픽셀점의 최종 오프셋 벡터를 산출하는 단계는,
    상기 픽셀점의 세일리언시값에 근거하여 상기 픽셀점의 변형계수를 산출하되 상기 세일리언시값과 상기 변형계수는 부적 상관 관계를 이루는 단계와,
    상기 변형계수에 상기 초기 오프셋 벡터를 곱하여 상기 최종 오프셋 벡터를 얻는 단계를 포함하는 이미지 리타겟팅 방법.
  4. 제3항에 있어서,
    상기 변형계수는
    Figure 112015005943292-pct00050
    이고,
    여기서,
    Figure 112015005943292-pct00051
    는 좌표가 (x,y)인 픽셀점의 세일리언시값이고，
    Figure 112015005943292-pct00052
    는 모든 세일리언시값 중의 최소 세일리언시값이며
    Figure 112015005943292-pct00053
    는 모든 세일리언시값 중의 최대 세일리언시값인 이미지 리타겟팅 방법.
  5. 제1항, 제3항 및 제4항 중 어느 하나의 항에 있어서,
    상기 원본 해상도와 상기 오브젝트 해상도에 근거하여 각 픽셀점의 초기 오프셋 벡터를 산출하는 단계는,
    상기 원본 해상도에 근거하여 원본 이미지영역을 결정하고 상기 원본 해상도와 상기 오브젝트 해상도에 근거하여 오브젝트 이미지영역을 결정하는 단계와,
    상기 원본 이미지영역에서 예정된 개수의 제1특징점을 선택하고 상기 오브젝트 이미지영역에서 상기 예정된 개수의 제2특징점을 선택하되 상기 제1특징점과 상기 제2특징점은 서로 대응하는 단계와,
    각각의 제1특징점과 대응하는 제2특징점 사이의 참조 오프셋 벡터를 산출하는 단계와,
    각각의 픽셀점에 있어서 상기 픽셀점과 n개의 제1특징점 사이의 상대위치를 산출하되 상기 픽셀점은 상기 n개의 제1특징점으로 둘러싸인 밀폐영역에 위치하고 n≥3이며 상기 상대위치와 상기 n개의 제1특징점과 대응하는 n개의 참조 오프셋 벡터에 근거하여 상기 픽셀점의 초기 오프셋 벡터를 산출하는 단계를 포함하는 이미지 리타겟팅 방법.
  6. 원본 이미지의 세일리언시 모델을 셋업하도록 구성된 모델셋업모듈,
    상기 모델셋업모듈이 셋업한 상기 세일리언시 모델에 근거하여 상기 원본 이미지에서의 각 픽셀점의 세일리언시값을 산출하도록 구성된 수치산출모듈,
    상기 수치산출모듈이 산출해낸 각 픽셀점의 세일리언시값, 상기 원본 이미지의 원본 해상도와 오브젝트 이미지의 오브젝트 해상도에 근거하여 상기 오브젝트 이미지를 리타겟팅하도록 구성된 이미지 타겟팅모듈을 포함하되,
    상기 이미지 타겟팅모듈은,
    상기 원본 해상도와 상기 오브젝트 해상도에 근거하여 각 픽셀점의 초기 오프셋 벡터를 산출하도록 구성된 제1산출유닛,
    각각의 픽셀점에 있어서 상기 픽셀점의 세일리언시값과 상기 제1산출유닛이 산출해낸 상기 픽셀점의 초기 오프셋 벡터에 근거하여 상기 픽셀점의 최종 오프셋 벡터를 산출하도록 구성된 제2산출유닛,
    상기 제2산출유닛이 산출해낸 각 최종 오프셋 벡터에 근거하여 상기 오브젝트 이미지에 대하여 리타겟팅하도록 구성된 이미지 타겟팅유닛을 포함하는 이미지 리타겟팅 장치.
  7. 삭제
  8. 제6항에 있어서,
    상기 제2산출유닛은,
    상기 픽셀점의 세일리언시값에 근거하여 상기 픽셀점의 변형계수를 산출하되 상기 세일리언시값과 상기 변형계수는 부적 상관 관계를 이루도록 구성된 제1산출서브유닛,
    상기 제1산출서브유닛이 산출해낸 상기 변형계수와 상기 초기 오프셋 벡터를 곱하여 상기 최종 오프셋 벡터를 얻도록 구성된 제2산출서브유닛을 포함하는 이미지 리타겟팅 장치.
  9. 제8항에 있어서,
    상기 변형계수는
    Figure 112015005943292-pct00054
    이고,
    여기서,
    Figure 112015005943292-pct00055
    는 좌표가 (x,y)인 픽셀점의 세일리언시값이고，
    Figure 112015005943292-pct00056
    는 모든 세일리언시값 중의 최소 세일리언시값이며
    Figure 112015005943292-pct00057
    는 모든 세일리언시값 중의 최대 세일리언시값인 이미지 리타겟팅 장치.
  10. 제6항, 제8항 및 제9항 중 어느 하나의 항에 있어서,
    상기 제1산출유닛은,
    상기 원본 해상도에 근거하여 원본 이미지영역을 결정하고 상기 원본 해상도와 상기 오브젝트 해상도에 근거하여 오브젝트 이미지영역을 결정하도록 구성된 영역결정 서브유닛,
    상기 영역결정 서브유닛이 결정한 상기 원본 이미지영역에서 예정된 개수의 제1특징점을 선택하고 상기 영역결정 서브유닛이 결정한 상기 오브젝트 이미지영역에서 상기 예정된 개수의 제2특징점을 선택하되 상기 제1특징점과 상기 제2특징점은 서로 대응하도록 구성된 특징점선택서브유닛,
    상기 특징점선택서브유닛이 선택한 각각의 제1특징점과 대응하는 제2특징점 사이의 참조 오프셋 벡터를 산출하도록 구성된 제3산출서브유닛,
    각각의 픽셀점에 있어서 상기 픽셀점과 n개의 제1특징점 사이의 상대위치를 산출하되 상기 픽셀점은 상기 n개의 제1특징점으로 둘러싸인 밀폐영역에 위치하고 n≥3이며 상기 상대위치와 상기 제3산출서브유닛이 산출해낸 상기 n개의 제1특징점과 대응하는 n개의 참조 오프셋 벡터에 근거하여 상기 픽셀점의 초기 오프셋 벡터를 산출하도록 구성된 제4산출서브유닛을 포함하는 이미지 리타겟팅 장치.
  11. 프로세서,
    프로세서가 실행 가능한 인스트럭션을 저장하기 위한 메모리를 포함하되,
    여기서 상기 프로세서는
    원본 이미지의 세일리언시 모델을 셋업하고,
    세일리언시 모델에 근거하여 원본 이미지에서의 각 픽셀점의 세일리언시값을 산출하며,
    각 픽셀점의 세일리언시값, 원본 이미지의 원본 해상도와 오브젝트 이미지의 오브젝트 해상도에 근거하여 오브젝트 이미지를 리타겟팅하되,
    상기 원본 해상도와 상기 오브젝트 해상도에 근거하여 각 픽셀점의 초기 오프셋 벡터를 산출하고,
    각각의 픽셀점에 있어서 상기 픽셀점의 세일리언시값과 상기 픽셀점의 초기 오프셋 벡터에 근거하여 상기 픽셀점의 최종 오프셋 벡터를 산출하며,
    각각의 최종 오프셋 벡터에 근거하여 상기 오브젝트 이미지를 리타겟팅하도록 구성된 단말기.
  12. 프로세서에 의해 실행되는 것을 통하여 제1항, 제3항 및 제4항 중의 어느 한 항에 기재된 이미지 리타겟팅 방법을 실현하는 것을 특징으로 하는 컴퓨터 판독 가능한 기록매체에 저장되는 프로그램.
  13. 제12항에 기재된 프로그램이 기록된 기록매체.
KR1020157001522A 2014-06-24 2014-11-20 이미지 리타겟팅 방법, 장치, 단말기, 프로그램 및 기록매체 KR101641175B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410287125.7A CN104123720B (zh) 2014-06-24 2014-06-24 图像重定位方法、装置及终端
CN201410287125.7 2014-06-24
PCT/CN2014/091752 WO2015196715A1 (zh) 2014-06-24 2014-11-20 图像重定位方法、装置及终端

Publications (2)

Publication Number Publication Date
KR20160010389A KR20160010389A (ko) 2016-01-27
KR101641175B1 true KR101641175B1 (ko) 2016-07-20

Family

ID=51769117

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157001522A KR101641175B1 (ko) 2014-06-24 2014-11-20 이미지 리타겟팅 방법, 장치, 단말기, 프로그램 및 기록매체

Country Status (8)

Country Link
EP (1) EP2975574B1 (ko)
JP (1) JP6170626B2 (ko)
KR (1) KR101641175B1 (ko)
CN (1) CN104123720B (ko)
BR (1) BR112015003438A2 (ko)
MX (1) MX358315B (ko)
RU (1) RU2614541C2 (ko)
WO (1) WO2015196715A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123720B (zh) * 2014-06-24 2017-07-04 小米科技有限责任公司 图像重定位方法、装置及终端
US9665925B2 (en) 2014-06-24 2017-05-30 Xiaomi Inc. Method and terminal device for retargeting images
CN105455525A (zh) * 2015-11-20 2016-04-06 宁波大业产品造型艺术设计有限公司 物联网智能花瓶
CN105608469B (zh) * 2015-12-21 2019-12-03 小米科技有限责任公司 图像分辨率的确定方法及装置
CN111696157A (zh) * 2019-03-12 2020-09-22 北京京东尚科信息技术有限公司 图像重定位的确定方法、系统、设备和存储介质
CN111597934A (zh) * 2020-04-30 2020-08-28 重庆科技学院 用于为统计应用处理训练数据的系统和方法
CN112669211B (zh) 2020-12-29 2023-07-04 三星电子（中国）研发中心 一种图像重定位方法和装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7263220B2 (en) * 2003-02-28 2007-08-28 Eastman Kodak Company Method for detecting color objects in digital images
US8218895B1 (en) * 2006-09-27 2012-07-10 Wisconsin Alumni Research Foundation Systems and methods for generating and displaying a warped image using fish eye warping
CN101053531A (zh) * 2007-05-17 2007-10-17 上海交通大学 基于多模式增敏成像融合的早期肿瘤定位跟踪方法
CN101911113A (zh) * 2007-11-16 2010-12-08 史诺伟思有限公司 对图像序列重设尺寸
US9240056B2 (en) * 2008-04-02 2016-01-19 Microsoft Technology Licensing, Llc Video retargeting
US8280191B1 (en) * 2008-07-31 2012-10-02 Abode Systems Incorporated Banded seam carving of images with pyramidal retargeting
JP2010081996A (ja) * 2008-09-29 2010-04-15 Fujifilm Corp サブトラクション画像処理装置及び処理方法
KR100988380B1 (ko) * 2008-12-24 2010-10-18 포항공과대학교 산학협력단 중요도 확산을 이용한 영상 리타겟팅 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치
CN101520894B (zh) * 2009-02-18 2011-03-30 上海大学 基于区域显著性的显著对象提取方法
CN101510299B (zh) * 2009-03-04 2011-07-20 上海大学 基于视觉显著性的图像自适应方法
WO2011004304A1 (en) * 2009-07-06 2011-01-13 Koninklijke Philips Electronics N.V. Retargeting of image with overlay graphic
US20110305397A1 (en) * 2010-03-08 2011-12-15 Robinson Piramuthu Systems and methods for retargeting an image utilizing a saliency map
CN101866484B (zh) * 2010-06-08 2012-07-04 华中科技大学 一种图像中像素显著程度的计算方法
US8494302B2 (en) * 2010-11-11 2013-07-23 Seiko Epson Corporation Importance filtering for image retargeting
CN102129693B (zh) * 2011-03-15 2012-07-25 清华大学 基于色彩直方图和全局对比度的图像视觉显著性计算方法
CN102568249B (zh) * 2011-12-20 2013-03-20 中国船舶重工集团公司第七0九研究所 一种基于动态空域容量的飞行流量告警方法及其系统
CN102722891B (zh) * 2012-06-12 2014-08-27 大连理工大学 一种图像显著度检测的方法
US9202258B2 (en) * 2012-06-20 2015-12-01 Disney Enterprises, Inc. Video retargeting using content-dependent scaling vectors
CN103020985B (zh) * 2012-11-12 2015-12-09 华中科技大学 一种基于场量分析的视频图像显著性检测方法
CN103136766B (zh) * 2012-12-28 2015-10-14 上海交通大学 一种基于颜色对比和颜色分布的物体显著性检测方法
CN103226824B (zh) * 2013-03-18 2016-07-06 上海交通大学 维持视觉显著性的视频重定向系统
CN104123720B (zh) * 2014-06-24 2017-07-04 小米科技有限责任公司 图像重定位方法、装置及终端

Also Published As

Publication number Publication date
WO2015196715A1 (zh) 2015-12-30
RU2614541C2 (ru) 2017-03-28
RU2015106257A (ru) 2016-09-10
EP2975574B1 (en) 2020-03-18
MX358315B (es) 2018-08-14
JP2016532947A (ja) 2016-10-20
CN104123720A (zh) 2014-10-29
EP2975574A2 (en) 2016-01-20
MX2015002442A (es) 2016-03-03
KR20160010389A (ko) 2016-01-27
EP2975574A3 (en) 2016-03-02
BR112015003438A2 (pt) 2017-07-04
CN104123720B (zh) 2017-07-04
JP6170626B2 (ja) 2017-07-26

Similar Documents

Publication Publication Date Title
KR101641175B1 (ko) 이미지 리타겟팅 방법, 장치, 단말기, 프로그램 및 기록매체
CN106651955B (zh) 图片中目标物的定位方法及装置
TWI724736B (zh) 圖像處理方法及裝置、電子設備、儲存媒體和電腦程式
KR101649596B1 (ko) 피부색 조절방법, 장치, 프로그램 및 기록매체
KR101670004B1 (ko) 화상 분할 방법, 장치, 프로그램 및 기록매체
CN108256555B (zh) 图像内容识别方法、装置及终端
KR102045232B1 (ko) 제스처 식별 방법, 장치, 프로그램 및 기록매체
US10534972B2 (en) Image processing method, device and medium
KR101694643B1 (ko) 이미지 분할 방법, 장치, 기기, 프로그램 및 기록매체
US10346669B2 (en) Fingerprint entry prompting method and device
RU2665217C2 (ru) Способ и устройство обработки изображений
RU2648625C2 (ru) Способ и устройство для определения пространственного параметра на основе изображения, а также оконечное устройство
KR101727169B1 (ko) 이미지 필터를 생성하기 위한 방법 및 장치
CN106778773B (zh) 图片中目标物的定位方法及装置
CN105809704A (zh) 识别图像清晰度的方法及装置
CN107944367B (zh) 人脸关键点检测方法及装置
CN106648063B (zh) 手势识别方法及装置
CN109034150B (zh) 图像处理方法及装置
CN105975961B (zh) 人脸识别的方法、装置及终端
WO2020114236A1 (zh) 关键点检测方法、装置、电子设备及存储介质
KR102367648B1 (ko) 전 방향 시차 영상 합성 방법, 장치 및 저장 매체
TW202121343A (zh) 圖像處理方法及裝置、電子設備和電腦可讀儲存媒體
US9665925B2 (en) Method and terminal device for retargeting images
CN107992894B (zh) 图像识别方法、装置及计算机可读存储介质
US20230138241A1 (en) Method and apparatus for processing multimedia data, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right