KR101297177B1 - 디지털 이미지의 적응적 리포맷팅을 위한 방법 및 시스템 - Google Patents

디지털 이미지의 적응적 리포맷팅을 위한 방법 및 시스템 Download PDF

Info

Publication number
KR101297177B1
KR101297177B1 KR1020080116516A KR20080116516A KR101297177B1 KR 101297177 B1 KR101297177 B1 KR 101297177B1 KR 1020080116516 A KR1020080116516 A KR 1020080116516A KR 20080116516 A KR20080116516 A KR 20080116516A KR 101297177 B1 KR101297177 B1 KR 101297177B1
Authority
KR
South Korea
Prior art keywords
image
path
map
module
pixels
Prior art date
Application number
KR1020080116516A
Other languages
English (en)
Other versions
KR20090077662A (ko
Inventor
일리아 사포노브
미하일 엔. 리차코프
빅터 부차
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US12/342,515 priority Critical patent/US8472753B2/en
Publication of KR20090077662A publication Critical patent/KR20090077662A/ko
Application granted granted Critical
Publication of KR101297177B1 publication Critical patent/KR101297177B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/32—Image data format

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

디지털 사진 및 서류의 이미지를 적응적 리포맷팅하기 위한 방법 및 시스템이 개시된다. 본 방법은, 이미지의 분석의 결과에 따라서 픽셀에 대한 값 함수의 계산 규칙을 선택하는 단계, 값 맵 및 히스토리 맵을 생성하는 단계, 이미지의 크기가 보간에 의하여 적어도 하나의 발견된 경로의 추가/제거에 의해 이미지의 크기 변경단계, 이미지의 요구된 크기가 수신되거나, 경로값의 합이 기결정된 문턱값을 초과할 때까지 값 맵 및 히스토리 맵의 생성 및 이미지의 크기의 변경의 단계가 반복되는 단계를 수행하는 것을 포함한다.
디지털 사진, 리포맷팅, 이미지 처리, 스케일링, 보간

Description

디지털 이미지의 적응적 리포맷팅을 위한 방법 및 시스템{THE METHOD AND SYSTEM OF ADAPTIVE REFORMATTING OF DIGITAL IMAGES}
본 발명은 이미지 처리에 관한 것으로, 특히, 대상의 크기, 비율, 및 상대적 위치는 변경되지 않으면서, 이미지를 편집할 때 이용될 수 있는 디지털 이미지의 크기/포맷의 변경 방법에 관한 것이다.
이미지 처리 영역에서 알려진 결정(decision)들 중 다음의 기술 및 방법을 언급할 필요가 있다. 즉, 선형 스케일링(linear scaling), 프레이밍(framing), 리포맷팅(reformatting)(리타겟팅(retargeting)), 심카빙(seam carbing), 리터칭(retouching)과 같은 기술들을 상세하게 분석할 필요가 있다.
스케일링은, 일반적으로 사진의 축소 및 확대 시에 주로 이용되며, 또한 회전, 왜곡, 아핀변환(affine transformation), 디인터레이싱(deinterlacing), 비디오 시퀀스들에 대하여 시간에 따른 해상도의 증가를 요구하는 동작들에서도 이용되는 이미지 처리시의 기본동작이다. 대부분 경우, 스케일링 처리는, 이용가능한 이산적인 기지값들(known values)의 세트의 도움으로 중간값을 찾는 보간(interpolation)에 기초한다.
무엇보다도, 보간은 디지털 카메라 및 비디오 카메라의 인터리브(interleave) 전달 센서로부터 풀-컬러 이미지(full-color image)를 생성하기 위해 이용된다. 현재, 다양한 복잡성과 생산성을 가지는 이미지 보간을 위한 다양한 방법 세트가 제공된다.
차수(bicubic) 및 양선형(bilinear)과 같은 일반적인 방법은, 밝기가 샤프하게 변화하는 필드에서 이미지에 바람직하지 않은 아티팩트(artifact)을 도입한다. 전형적인 아티팩트는 이미지의 평활도(smoothness)를 가정하여 나타나는 에지 덴테이션(edges dentation), 테일링(tailing)과, 이미지의 스펙트럼의 고주파 성분을 제외한 결과로서 기브 효과(Gibb's effect)를 포함한다.
일반적으로 2차원 보간은 상호 수직 방향인 일련의 1차원 보간으로 구성된다. 예를 들어, 미국 특허 6,915,026 [1]에 기술된 발명은, 2단계, 즉, 우선 수직방향으로, 이후, 수평방향으로 보간에 대한 계수들을 예비적으로 계산 및 세이빙하는 단계에서의 이미지의 확대를 가정한다. 이 방법은, 모든 일차원 보간들이 이미지의 좌표축들에 평행하게 구성되고, 나타난 아티팩트는 아래에 놓인 좌표 그리드(coordinate grid)를 검출한다는 단점을 가진다. 어떤 방법은 사선 방향으로의 예비적인 저주파 필터레이션(filtration)를 가정하지만, 그것은 불행하게도 화질을 악화시킨다. 미국 특허 5,719,967 [2] 및 6,606,093 [3]는 이미지에서의 에지의 덴테이션 억제를 위한 특별한 방법들을 설명한다.
미국특허 5,446,804 [4]에서 설명된 해결법은, 에지의 서브 픽셀 맵을 예비적으로 계산 방식에 기초한다. 각 보간된 픽셀에 대하여, 4개의 최근접의 이웃들이 존재한다. 에지에 의해 다음 픽셀들 중 어느 하나가 다른 픽셀로부터 삭제되지 않는 경우, 요구된 값은 가중치를 가지는 이 이웃들의 합으로 계산된다. 이웃들이 에지로부터 다른 측면에 놓인 경우, 맵에 기초하여 에지의 선택이 수행되며, 에지의 일 측면에 놓인 2개의 사선 픽셀을 이용하여 요구된 픽셀에 대한 중간값이 계산된다. 이후, 경계의 다른 측면에 놓인 위치에 있어서 요구된 값은, 이웃들에 의해 수신되고, 에지의 일 측면에 놓인 값과, 계산된 크기로 대체된다. 이러한 결정은 샤프한 경계를 갖는 이미지를 수신하는 것을 허용하지만, 덴테이트(dentate) 에지를 포함하게 된다.
아래에 나열된 방법들은, 좌표 그리드에 놓인 축들을 따라 보간을 사용하지 않으면서, 동시에 수직 및 수평 방향으로 2차원 증가함으로써 덴테이트 에지의 효과를 극복한 방법들이다. 자료 "Li, X., and M. Orchard, "New Edge Directed Interporation," IEEE International Conference on Image Processing, Vancouver, Sept. 2000 [5]에 설명된 제 1 방법은, 저 및 고 해상도를 가지는 이미지의 공변동(covariations) 간의 기하학적 이원성(geometrical dualism)의 존재를 가정하는 것에 기초한다. 이미지에서의 에지의 보호는 랜덤 지향성 에지 스텝의 보간에 대한 계수의 값의 적응성에 의해 야기된다. 이 방법은 2 배수로의 확대를 의도한다. 보간은 2개의 과정으로 이루어지는데, 먼저 (2i+1, 2j+1) 좌표를 가지는 픽셀이 (2i,2j) 위치에서의 기지값(known value)을 이용하여 계산된다. 이후, 45도 회전되어, 다른 픽셀에 대해서 유사한 절차가 수행된다. 각 픽셀은 최근접 4개의 이웃의 선형 조합으로 인식되고, 선형 조합의 계수들의 계산 문제는 최소자승법(least square)에 의해 해결된다. 이 보간의 방법은 기하학적 이원성의 가정이 유지되지 않는 구조를 가지는 영역을 제외하고는 수용 가능한 결과를 제공한다.
자료 "Yu, X., Morse, B. and T. Sederberg, 2001, Image Reconstruction Using Data-Dependent Triangulation", IEEE Computer Graphics and Application, vol. 21 No. 3, pp. 62-68 [6]"에 기술된 제 2 방법은, 어떤 제로 레벨 이상의 포인트 높이의 밝기값을 고려하여 표면의 삼각측량(triangulation)을 이루는 것이다. 이 방법의 저자들은 삼각측량의 그리드를 구성하고, 삼각 내부 강도의 이미지 선형 보간을 복원한다. 이와 같은 접근은 다른 최적화 및 기준함수(criterion function)와 함께 데이터 의존성 삼각측량(data-dependent triangulation(DDT)) 방법에 기초한다. 따라서, 삼각 측량은 에지(밝기의 샤프한 변화)를 보호하고 이미지의 품질을 향상시킨다. 그러나, 이 방법은 삼각측량이 반복적으로 이루어지므로, 계산의 관점에서 충분히 복잡하다.
때때로 이미지의 확대는 2단계로 구성된다. 우선, 미지의 밝기값이 계산되고, 이후, 이미지의 후처리(postprocessing)가 이미지의 선명화 및 에지의 개선을 증가시키기 위해 이루어진다. 예를 들어, 미국특허 6,714,688 [7]는 선명도의 증가를 위해 이미지의 후처리 방법을 설명한다. 우선 이미지의 양선형 보간이 이루어지고, 이후, 에지의 후처리가 움직이는 창을 이용하여 이루어진다. 창의 크기는 증가 정도로부터 검출된다. 우선, 저주파 필터가 이미지의 고주파 성분의 선택을 위해 창의 내부 픽셀에 적용된다. 이후 고주파 성분은, 국부적인 밝기 특성에 기초하여 검출된 몇몇 계수들을 가지는 저주파 성분과 함께 요약된다. 이후, 에지는 밝기의 변화 특정 곡선을 이용하여 추가적으로 처리된다.
특허출원 EP 1533899 [8]에 설명된 방법은, 또한, 다음의 단계들, 즉, 경계선을 따른 보간 및 추가적인 후처리에 의해, 디지털 이미지의 크기를 변경하는 것에 관한 것이다. 우선 이미지는 2n 배수로 확대되고 이후 필요한 크기까지 감소된다. 에지의 후처리가 추가적으로 이루어진다. 이 방법은 좋은 결과를 제공하지만, 계산의 관점에서는 너무 복잡하다.
또한, 이미지(사진)의 지적(intellectual) 크롭핑(cropping) 또는 프레이밍(framings)의 방법들이 알려져 있으며, 이들은 이미지의 하부 및/또는 상부(좌 및/또는 우측) 일부의 크롭핑에 의해, 이미지의 기하학적 크기의 비율(변들의 비율), 예를 들어, 그것의 넓이 대 높이 비율의 비율 변경을 의도한다. "지적(intellectual)"이란 용어는 사진의 크롭핑이 사진에서 캡쳐된 중요한 대상의 크롭핑을 제외하는 목적을 가지고 그것의 내용들을 분석에 기초하여 이루어지는 것을 의미한다. 사진 외형의 측면 비율의 변경에 대한 요구조건은, 예를 들어, 디지털 화상을 프린트하고자 하는 디지털 카메라의 사용자에서 나타난다. 일반적인 디지털 사진은 4:3의 측면 비율을 가지는 반면, 프린트의 래버러토리(laboratory)에서의 인화지의 표준 시트는 3:2 측면 비율을 가진다.
자신의 내용들의 분석하는 것과 관련되지 않은, 사진의 크롭핑의 문제의 결정에 대한 2개의 접근법들이 있다. 제 1 접근법은 50%대50%의 비율로 또는 20%대 80%의 비율로 사진의 상부 및 하부 에지들의 크롭핑으로 이루어진다. 따라서, 이것은 사진의 높이가 1cm만큼 축소된다면, 그에 따라 5 및 5mm 또는 2 및 8mm 높이의 수평 스트라이프들은 위에서 그리고 아래에서부터 잘라질 것이다. 많은 경우에서, 이 접근법은 화상의 중심에 위치한 사진에서의 중요한 대상의 크롭핑을 야기하지 않는다. 그러나, 자주 있는 경우로서, 촬영의 대상- 예를 들어 사람-이 사진의 에지에 근접하여 있는 경우에, 이 접근법은 사람의 이미지의 얼굴, 머리 부분, 또는 다른 부분의 크롭핑을 야기할 수 있다.
다른 접근법은 사진을 자르지 않고 좌측 및 우측에 공간을 가지는 시트에 그것을 인쇄하는 것으로 구성된다. 인화지의 시트의 영역이 완전히 사용되지 않는다는 점이 단점이다.
자동 크롭핑 작업에 있어서의 주요 문제점은, 이미지상의 주요 대상(대상들)의 검출 및 세그멘테이션(segmentation)으로 구성된다. 주요 대상을 검출하는 방법은 2 개의 카테고리로 분리된다. 픽셀의 처리에 기초한 방법은, 사진에서 캡쳐된 대상의 파트에 일반적으로 대응하는 픽셀의 소그룹 또는 개별적인 픽셀을 선택하는 것이다. 예를 들어 에지를 선택하는 방법이 그러한 방법에 속한다. 영역의 처리에 기초한 방법은 이미지상의 전체 의미론적으로 중요한 대상에 대응하는 영역을 선택한다.
현재, 자동 크롭핑의 작업은 표면적으로만 연구되고 있다. 사진의 프레이밍의 기능이 촬영의 주요 대상의 선택에 명백하게 기초하는 이미지를 처리하기 위한 소프트웨어 패키지가 저자들에 알려져 있지 않다.
프로그램 XV(www.trilon.com/xv)[9]는 다음과 같이 동작하는 이미지의 자동 크롭핑의 기능을 가진다:
1. 이미지의 경계 라인 및 칼럼(상부 및 하부 라인, 최 좌측 및 최 우측 칼럼)이 선택된다.
2. 선택된 라인 및 칼럼에 있어서 밝기의 변경이 검출된다. 하프톤(half-tone) 이미지 내의 동종 라인 및 칼럼은 완전하게 삭제된다. 컬러 이미지 내의 공간적(spatial) 및 스펙트럼 상관의 낮은값을 가지는 라인 및 칼럼이 삭제된다.
3. 동작 1 및 2가 필요한 만큼 반복된다.
따라서, 오히려 프로그램은 이미지의 에지에 있어서 동종의 영역을 삭제한다. 이것은 이미지의 내용을 전체로서 정의하지 않는다. 실제로, 스캐닝 이전에 오리지널의 부정확한 배열로 인해 나타나는, 스캔된 이미지의 어두운 에지가 효과적으로 삭제된다. 스테이지의 내용의 불충분한 분석으로 인해 수용할 수 없는 결과가 종종 나타난다.
미국특허 5,978,519[10]에서, 이미지의 크롭핑을 위한 방법은 강도 레벨의 차이에 기초하는 것으로 고려된다. 전형적인 이미지는 동종 강도 및 컬러 영역과, 강도 및 컬러가 상당히 변경되는 영역을 포함한다. 예를 들어, 초상화는 일반적으로 주요 대상에서 배경으로써 샤프한 밝기 변환을 포함한다. 설명된 방법에서, 이미지의 크기는 축소되고, 이것은 겹치지 않는 블록들에서 공유한다. 각 블럭에 대한 평균값 및 강도의 분산이 계산된다. 문턱값이 블록들에서의 분산 분포에 기초하여 선택되며, 문턱값 이상의 분포를 가지는 모든 블록들이 관심 영역으로서 표시된다. 관심 영역들은 이후 직사각형을 제한함으로써 삭제된다.
상기 방법은, 초기 이미지가, 강도의 레벨이 상당히 변경되는 영역과, 강도 의 레벨이 일정한 영역을 포함하는 경우에만 효과적이라는 것을 주지할 필요가 있다. 방법의 효율성이 프로그램 [9]와 비교될 것이 기대된다. 프로그램 [9]와 이 방법 간의 차이점은, [9]는 이미지의 균일성을 라인 대 라인으로 분석하는 반면, 설명된 방법은 이미지를 블록 대 블럭으로 분석한다는 것으로 구성된다. 그러나, 방법들 모두는 비균일적인 배경을 가지는 이미지에서는 불리하게 동작한다.
패키지 "Microsoft Digital Image Suite 2006 [11]"의 지적 크롭핑의 기능은 초상화 또는 가족 사진에서 얼굴의 검출 기회를 가진다. 프로그램은 크롭핑의 몇몇 변형 예를 제공하며, 사용자는 프린트의 표준 포맷의 리스트로부터 필요한 측면 비율을 선택할 수 있다.
대체적으로, 존재하는 거의 모든 크롭핑을 위한 방법들은 특정 유형의 이미지, 보다 단순한 배경에서의 사람의 사진, 촬영의 선택된 대상이 동종 배경과 함께 이미지의 중심에 있는 박물관 사진, 다양한 페인팅 및 형태의 여러 주요 피사체를 가지는 모델링 스테이지의 이미지를 위해 개발된다. 이 방법들 몇몇은 어느 이미지를 최초로 처리하기 위해 의도되지 않으며, 일반적인 충분한 원리를 이용하여 개발된 다른 방법들의 효율성은 단순한 이미지에서만 보여진다.
미국특허 6,282,317 [12]는 이미지에서의 주요 대상의 검출 방법을 설명한다. 이 방법은, 디지털 이미지의 수신, 이미지상에 제시된 대상에 대응하는 어느 형태 및 크기의 영역의 추출, 물리적으로 연결된 대상에 대응하는 큰 영역에서의 영역들의 그룹화, 각 영역에 대한 적어도 하나의 구조적으로 선택된 특징 및 적어도 하나의 의미론적으로 선택된 특징의 추출, 각 선택된 영역에 대한 주요 대상에 대응할 영역의 가능성 추정을 포함한다.
미국특허 6,654,506 [13]는, 디지털 이미지의 프레이밍을 위한 방법을 설명하며, 이 방법은, 이미지의 비밀카드(confidential card)의 입력으로서, 이 이미지의 각 포인트에서의 값은 이미지의 대응하는 포인트에서의 정보의 중요도를 설명하며, 스케일링 팩터 및 크롭핑의 창의 선택, 배경의 영역의 정의를 위한 비밀카드의 영역, 보조 영역 및 주요 대상의 영역을 클러스터링(clustering), 창 내부의 신용의 값의 합이 최대가 되도록, 주요 대상의 분야에서 크롭핑의 창을 위치시키는 것, 및 크롭핑의 창의 경계에서의 이미지의 크롭핑을 포함한다.
공개된 미국특허출원 2002/0191861 [14]는, 이미지의 자동 및 반자동 프레이밍, 특히, 이미지의 캡처 및 프레이밍을 위한 전자 카메라의 이용을 위한 장치 및 방법을 설명한다. 이미지의 프레이밍을 위한 전자장치는, 이미지의 처리를 위한 툴(tool), 특히, 전자 처리기 및 프로그래밍된 장치 및/또는 이미지를 처리하기 위한 소프트웨어를 포함한다. 상기 장치는 이미지 합성의 특징을 식별하고, 어느 의미에서 각 선택된 특징에 대하여 장치에 저장된 다수의 소정 특징으로부터 유사한 특징을 찾는다. 이후, 저장된 특징과 관련된 하나 또는 다수의 소정 합성 규칙이 선택된다. 장치는 하나 또는 다수의 선택된 합성규칙을 적용하여 하나 또는 다수의 프레이밍의 적당한 경계를 정의한다.
사진의 플레그먼트의 지적 추가의 흥미로운 아이디어가 특허출원 RU 2005137049[15]에 설명된다. 이 출원에 따르면, 플레그먼트는 이미지의 측면 파트들의 미러 표시/복제의 동작에 의해 수신된다.
청구된 발명과 가장 유사한 것은 공개된 US 출원 2007/0025637[16]에 설명된 결정이다. 이 발명은 "Setlur et al, "Automatic Image Retargeting" ACM International Conference on Mobile and Ubiquitous Multimedia(MUM) 2005, v. 154, pp. 59-68 [17]"에서 먼저 부분적으로 공개되었다. 저자들은, 이미지의 중요한 대상의 비율을 이미지 크기의 축소시에 유지하는, 이미지의 자동 리포맷팅(자동 이미지 리타겟팅)에 대한 새로운 접근법을 설명한다. 초기 이미지와 조정된 포맷에 대하여, 이 방법은 다음의 절차를 실행한다. 우선, 초기 이미지는 이미지의 컬러 및 밝기 특성의 분포 분석을 이용하여 영역에서 세그먼트된다. 이후, 초기 이미지의 픽셀/영역의 중요도의 맵이, 사람 시야의 모델과 디지털 이미지에서의 사람 얼굴을 검출하는 방법에 기초하여 생성된다. 조정된 포맷이 모든 중요한 영역을 포함하는 경우, 이미지는 프레이밍된다. 그렇지 않다면, 중요한 영역은 조정된 포맷에 따라 스케일된 이미지로부터 배제된다. 이후, 중요한 영역은 중요도의 정도 및 토폴로지(topology)에 따라서 수정된 이미지에 삽입된다. 위에서 설명된 기술은, 이미지의 세부묘사의 손실을 최소화하는 것과 전통적인 접근법에 의해 야기되는 왜곡을 저하시키는 것을 허용한다. 또한, 이 방법은 중요한 영역을 서로 근접시켜 그들의 토폴러지를 유지한다는 것을 주지할 필요가 있다.
Shai Avidan, Ariel Shamir에 의한 자료 "Seam Carving for Content-Aware Image Resizing ACM Transactions on Graphics, Volume 26, Number 3, SIGGRAPH 2007 [18]"에서, 기하학적 규제뿐 아니라 이미지의 내용도 고려하는 이미지의 크기 변경의 효과적인 절차가 설명된다. 또한, 자신의 내용을 고려하여 이미지의 축소 및 확대를 위해 이용되는 오퍼레이터 심 스케일링(심카빙)의 개념 및 정의가 도입된다. 심(seam)은 최적성이 이미지의 에너지의 함수를 이용하여 정의되는, 이미지의 픽셀들로부터의 밀집 최적 경로(coherent optimum path)를 나타낸다. 심의 많은 제거 또는 추가는 이미지의 포맷/크기의 변경을 달성하는 것을 허용한다.
기술 레벨의 분석 결과에 영향을 받아 다음의 결론을 내는 것이 가능하다. 최근에, 디지털 카메라, 이동 전화기, 텔레비전 장치(고해상도를 가지는 장치를 포함하여) 등과 같은 다양한 장치에 의해 수신되고 표시되는 디지털 사진 및 서류의 이미지에 대한 계속적인 양적 성장이 있다. 그러나, 디지털 이미지의 기하학적 크기(포맷)의 비율은 디스플레이를 위한 영역의 기하학적 크기 비율과 항상 대응하지 않는다. 예를 들어, 디지털 화상은 4:3의 측면 비율을 가지며, 인쇄는 3:2의 측면 비율을 가지는 종이에서 수행된다. 한 세트의 방법이 디지털 화상의 측면 비율과 디스플레이를 위한 영역의 매칭을 위해 제공된다. 다음의 방법들, 즉, 스케일링, 프레이밍, 이미지의 파트의 적응적 추가 또는 복제가 가장 잘 알려져 있다. 이 방법들은 오히려 단순한 실시로 인해 널리 보급되어 있다. 그러나, 기존의 접근법들은 2개의 본질적인 단점들, 프레이밍 또는 <<확장된 이미지>> 또는 <<압축된 이미지>>의 효과의 발생으로 인한 시야 영역의 감소를 가진다.
이미지의 스케일링을 위한 아이디어로 구성된 알고리즘은 이미지의 측면 비율의 변경으로 대상의 비율을 변경한다. 프레이밍의 기술은 이미지의 파트의 손실을 수반하며, 이미지의 파트의 추가 또는 복제의 기술은 실재 파트에 부재하는 이미지를 도입하며, 이것으로 인해, 몇몇 경우에서 결과 이미지는 인공적으로 보인 다.
알려진 기술적인 결정 유사물은 그들의 내용에 의존하는 디지털 이미지의 적응적 리포맷팅을 제공하지 않는다. 그러나, 리포맷팅의 결과는 이미지의 내용에 강하게 의존하며, 이미지상에 가장 중요한 대상의 비율 및 크기의 변경을 방지하기 위한 특정 단계들이 요구된다. 대상의 중요도는 어플리케이션(application)에 강하게 의존한다. 예를 들어, 디지털 사진에서 가장 중요한 대상은 사람 이미지이며, 문서 이미지에서 가장 중요한 대상은 텍스트 기명(text inscription)이다.
이외에, 리포맷팅의 영역에서 알려진 유사물은 본질적인 규제, 물체의 비율에 변화가 있거나 결과적인 이미지의 크기에 규제가 있는, 규제들을 가진다.
디지털 이미지의 포맷 변경에 대한 기술적인 결정들을 설명하는 알려진 유사물에서, 이미지 요소의 프레이밍 및 복제의 기술들이 이용되며, 이것은 픽셀들의 그룹의 추가/제거의 동작을 기초로 한다. 여기에서 픽셀의 그룹은 밀집 픽셀들로부터 수평 또는 수직 라인을 나타낸다. 픽셀의 그룹 제거 또는 추가는 기본적으로 이미지의 경계에서 이루어진다. 그러나, 이 접근법은, 중요한 대상이 이미지의 경계에 인접하여 위치하므로, 최적은 아니다.
청구된 발명의 결정이 지시하는 문제는 위에서 언급된 유사물 및 원형에 내재된 단점들 없이 리포맷팅하기 위한 방법 및 시스템에 대한 개발로 구성된다. 따라서, 픽셀 그룹의 최적 제거/추가를 위한 방법을 개발할 필요가 있었다. 픽셀 그 룹은, 단지 수평 또는 수직만이 아닌 다양한 형태를 형성할 수 있는 밀집 경로로서 이해된다. 이 경로는, 그들의 비율 및 크기의 보존을 제공하는, 가장 중요한 대상의 위치에 따라서 이미지의 어느 장소에 있을 수 있다. 이외에, 새로운 결정은, 복사장치, 팩스, 프린터, 카메라, 인터넷 브라우저 등과 같은 다양한 장치 및 시스템에 의해 수신된 이미지의 리포맷팅의 기회를 고려할 필요가 있다. 또한, 리포맷팅 이미지의 품질을 상당히 향상시키기 위해, 가장 중요한 대상의 비율 및 크기의 변경을 방지하기 위한 문제가 있다.
기술적 결과는 디지털 이미지의 리포맷팅을 위한 개선된 방법 및 시스템의 개발에 의해 청구된 발명에서 달성된다.
본 실시예에 따른 디지털 사진 및 서류의 이미지를 적응적 리포맷팅하기 위한 방법은, 이미지의 분석 결과에 따라서 픽셀에 대한 값 함수의 계산 규칙을 선택하는 단계, 값 맵 및 히스토리(history) 맵을 생성하는 단계, 이미지의 크기가 보간에 의한 적어도 하나의 발견된 경로의 추가/제거에 의해 변경되는 단계, 여기서, 수평 및 수직경로들이 이용될 수 있으며, 상기 수평경로의 초기 픽셀은 이미지의 좌측 경계상에 있으며, 상기 수평경로의 최종 픽셀은 이미지의 우측 경로 상에 있으며, 상기 수평경로에서의 픽셀의 수량은 픽셀에서의 이미지의 폭과 동일한 연결된 픽셀들의 체인이며, 상기 수직경로의 초기 픽셀은 이미지의 상부 경계에 있으며, 상기 수직경로의 최종 픽셀은 이미지의 하부 경계에 있으며, 상기 수직경로에서의 픽셀 수량은 픽셀에서의 이미지의 높이와 동일한 연결된 픽셀들의 체인이며, 상기 경로의 검색은 경로 픽셀들의 값의 합들의 최소화에 의해 수행되며, 이미지 크기가 요구된 이미지 크기가 되거나, 경로값의 합이 기결정된 문턱값을 초과할 때까지 상기 값 맵 및 히스토리 맵의 생성 및 상기 이미지의 크기의 변경의 단계가 반복되는 단계를 포함한다.
이 경우, 상기 값 함수의 계산 규칙의 선택시 사람의 얼굴 이미지를 검출하는 것이 바람직하다.
한편, 상기 값 함수의 계산 규칙의 선택시 도시 스테이지 및 건축물의 검출기가 이용되는 것이 바람직하다.
한편, 상기 값 맵 생성시 고주파 필터가 이용되는 것이 바람직하다.
한편, 상기 값 맵 생성시 사람 피부에 전형적인 컬러를 기술하는 함수가 이용되는 것이 바람직하다.
한편, 상기 이미지 크기의 변경은, 값의 최소 합을 가지는 경로가 정의되며, 다수의 최근접 픽셀들에 의한 보간을 이용하여 경로의 픽셀에 이웃하여 새로운 픽셀들이 추가하며, 히스토리 맵에서의 값은 약화하여 히스토리 맵이 업데이트하고, 값 맵에서의 값을 업데이트하는 동작을 수행하여 적어도 하나의 경로를 추가하는 것에 의한 상기 이미지를 확대하는 것이 바람직하다.
한편, 상기 이미지의 크기의 변경은, 값의 최소 합을 가지는 경로가 정의되고, 경로의 픽셀이 제거하고, 픽셀의 값이 수정되어, 제거된 경로의 픽셀로 경계 짓고, 히스토리 맵에서의 값을 약화하여 히스토리 맵을 업데이트하고, 값 맵에서의 값을 업데이트하는 동작을 수행하여 적어도 하나의 경로를 제거하는 것에 의한 상 기 이미지를 축소하는 것이 바람직하다.
한편, 상기 히스토리 맵을 약화하는 단계는, 다음의 수식을 이용하는 방법.
H(i,j)=H(i,j)-1-C
여기서, H(i,j)는 히스토리 맵의 요소의 값, H(i,j)-1은 약화 이전에 히스토리 맵의 요소의 값, C는 기결정된 상수를 나타낸다.
한편 본 실시예에 따른 디지털 사진의 적응적인 리포맷팅을 위한 시스템은, 픽셀에 대한 값 함수의 계산 규칙을 선택하는 모듈, 값 맵 및 히스토리 맵 생성기, 값 맵 분석 및 경로를 선택하는 모듈, 이미지에 경로를 추가하는 모듈, 이미지로부터 경로를 제거하는 모듈, 스케일링하는 모듈, 히스토리 맵을 약화하는 모듈, 값 맵을 업데이트하는 모듈을 포함하고, 상기 픽셀에 대한 값 함수의 계산 규칙을 선택하는 모듈의 출력은, 상기 값 맵 및 히스토리 맵 생성기의 입력 및 상기 값 맵을 업데이트하는 모듈의 입력에 연결되며, 상기 값 맵 및 히스토리 맵 생성기의 출력은, 상기 값 맵 분석 및 경로를 선택하는 모듈의 입력에 연결되며, 상기 값 맵 분석 및 경로를 선택하는 모듈의 입력은, 상기 이미지에 경로를 추가하는 모듈, 상기 이미지로부터 경로를 제거하기 위한 모듈 및 상기 스케일링하는 모듈의 입력들에 연결되며, 상기 이미지에 경로를 추가하는 모듈 및 상기 이미지로부터 경로를 제거하는 모듈의 출력은 상기 히스토리 맵을 약화하는 모듈의 입력에 연결되며, 상기 히스토리 맵을 약화하는 모듈의 출력은, 상기 값 맵을 업데이트하는 모듈의 입력과 연결되며, 상기 값 맵을 업데이트하는 모듈의 출력은, 상기 값 맵 분석과 경로의 선택을 위한 모듈의 입력과 연결되며, 상기 픽셀에 대한 값 함수의 계산 규칙을 선택하는 모듈은, 이미지에 포함되어 있는 정보에 따라 기결정된 규칙의 세트로부터 각 픽셀에 대한 값 함수의 계산 규칙을 선택하는 동작을 수행하며, 상기 값 맵 및 히스토리 맵 생성기는, 상기 선택된 규칙을 이용하여, 값의 초기 맵 및 히스토리의 초기 맵을 생성하는 동작을 수행하며, 상기 값 맵 분석 및 경로를 선택하는 모듈은, 경로의 초기 픽셀은 이미지의 좌측 경계에 있으며, 경로의 최종 픽셀은 이미지의 우측 경계에 있으며, 경로에서의 픽셀의 수량은 픽셀들에서의 이미지의 폭과 동일한, 연결된 픽셀들로부터 적어도 하나의 수평경로를 결정하는 동작 및, 경로의 초기 픽셀은 이미지의 상부 경계에 있으며, 경로의 최종 픽셀은 이미지의 하부 경계에 있으며, 경로에서의 픽셀의 수량은 픽셀에서의 이미지의 높이와 동일한, 연결된 픽셀로부터 적어도 하나의 수직경로를 결정하는 동작을 수행하며, 발견된 모든 경로의 모든 픽셀의 값의 합이 기결정된 문턱값 이상인 경우, 상기 이미지를 상기 스케일링하는 모듈로 전달하며, 기결정된 문턱값 미만인 경우 상기 이미지, 값 맵 및 히스토리 맵을, 상기 이미지의 측면의 현재 및 요구된 비율에 따라서 상기 이미지에 경로를 추가하는 모듈 또는 상기 이미지로부터 경로를 제거하는 모듈로 전달하며, 상기 이미지에 경로를 추가하는 모듈은, 다수의 최근접 픽셀들에 대한 보간을 이용하여 적어도 하나의 발견된 상기 경로를 상기 이미지에 추가하는 것에 의하여 현재의 이미지를 확대하는 동작을 수행하며, 상기 이미지로부터 경로를 제거하는 모듈은, 상기 이미지로부터 적어도 하나의 발견된 상기 경로를 제거하는 것에 의해 현재의 이미지를 축소하는 동작을 수행하며, 상기 히스토리 맵을 약화하는 모 듈은, 먼저 제거되거나 추가된 경로의 픽셀들 환경에 대응하는 히스토리 맵에서의 값을 감소시키는 동작을 수행하며, 상기 값 맵을 업데이트하는 모듈은, 이전에 선택된 규칙 및 히스토리 맵을 이용하여, 값 맵을 재계산하는 동작을 수행하는 것이 바람직하다.
청구된 발명에서 디지털 이미지의 리포맷팅의 문제가 해결된다. 리포맷팅 이미지는 형태, 크기 및/또는 포맷(디지털 이미지의 기하학적 크기의 비율)에 의해 초기 이미지로부터 다르며, 이미지에서 가장 중요한 대상의 크기 및 비율은 유지된다. 청구된 발명에서, 이미지의 최소 중요한 픽셀의 제거 및/또는 추가에 의해 디지털 이미지의 적응적 리포맷팅을 위한 방법 및 시스템이 제공된다.
한편, 본 실시예에 따른 화상형성장치는, 이미지에 포함되어 있는 정보에 따라 기결정된 규칙의 세트로부터 각 픽셀에 대한 값 함수의 계산 규칙을 선택하는 모듈, 상기 선택된 규칙을 이용하여, 값의 초기 맵 및 히스토리의 초기 맵을 생성하는 생성기, 상기 값의 초기 맵을 분석하여, 값의 최소 합을 가지는 적어도 하나의 수평경로 또는 수직경로를 검색하는 모듈, 및, 상기 검색된 경로를 이용하여 경로를 추가하거나 제거하여 상기 이미지의 크기를 변경하는 모듈을 포함한다.
이 경우, 상기 수평경로는, 상기 이미지의 좌측 경계에 초기 픽셀이 있으며, 상기 이미지의 우측경계에 최종 픽셀이 있으며, 픽셀들에서의 이미지의 높이와 동일한 픽셀의 수량을 갖는 픽셀들의 체인이며, 상기 수직경로는, 상기 이미지의 상부 경계에 초기 픽셀이 있으며, 상기 이미지의 하부 경계에 최종 픽셀이 있으며, 픽셀들에서의 이미지의 높이와 동일한 픽셀의 수량을 갖는 픽셀들의 체인인 것이 바람직하다.
한편, 본 화상형성장치는, 상기 경로의 값의 합이 기결정된 문턱값 이상인 경우, 상기 이미지를 스케일링하는 모듈를 더 포함할 수 있다.
한편, 상기 이미지 크기를 변경하는 모듈은, 상기 이미지에 상기 검색된 경로를 추가하는 모듈, 및, 상기 이미지로부터 상기 검색된 경로를 제거하는 모듈;을 포함하는 것이 바람직하다.
이 경우, 상기 검색된 경로를 추가하는 모듈은,다수의 최근접 픽셀들에 의한 보간을 이용하여 상기 검색된 경로의 픽셀에 이웃하여 새로운 픽셀들을 추가하며, 히스토리 맵에서의 값을 약화하여 히스토리 맵을 업데이트하고, 값 맵에서의 값을 업데이트하는 동작을 수행하여 적어도 하나의 경로를 추가하는 것이 바람직하다.
한편, 상기 검색된 경로를 제거하는 모듈은, 값의 최소 합을 가지는 경로가 정의되고, 경로의 픽셀을 제거하고, 픽셀의 값이 수정되어, 제거된 경로의 픽셀로 경계 짓고, 히스토리 맵에서의 값을 약화하여 히스토리 맵을 업데이트하고, 값 맵에서의 값을 업데이트하는 동작을 수행하여 적어도 하나의 경로를 제거하는 것이 바람직하다.
한편, 상기 값 함수의 계산 규칙을 선택하는 모듈은, 사람의 얼굴 이미지를 검출을 이용하는 것이 바람직하다.
한편, 상기 값 함수의 계산 규칙을 선택하는 모듈은, 도시 스테이지 및 건축물의 검출을 이용하는 것이 바람직하다.
한편, 상기 생성기는, 고주파 필터를 이용하는 것이 바람직하다.
한편, 상기 생성기는, 사람 피부에 전형적인 컬러를 기술하는 함수를 이용하는 것이 바람직하다.
디지털 이미지의 밀집성 및 형태의 보존을 위해, 수직 또는 수평 방향으로 최소 중요한 밀집 픽셀의 적어도 하나의 그룹이 리포맷팅하는 각 단계에서 계산된다. 픽셀의 밀집 그룹을 우리는 이후에 본문에서 "경로"라고 할 것이다. 리포맷팅하기 위한 각 단계에서, 계산된 경로는 변경된 기하학적 크기를 가지는 새로운 이미지에 제거되거나 추가된다. 따라서, 수신된 이미지는 이어지는 리포맷팅의 단계에서 초기 이미지로서 이용된다. 이 처리는 이미지가 필요한 크기/포맷을 형성하지 않을 때까지 반복된다.
값의 특별 함수가 이미지의 각 픽셀의 중요도의 계산을 위해 이용된다. 이 함수는 내용 및 이미지(사진, 서류의 이미지, 팩시밀리 이미지, 등)의 본질에 상당히 의존한다는 것을 주지할 필요가 있다. 이 함수는, 기결정된 다음의 방법의 가능한 함수의 기결정된 세트로부터 선택될 수 있다.
이미지의 내용과, 이미지의 주어진 등급에 대한 픽셀의 중요도를 최고의 방법으로 설명하는 대응하는 값 함수의 정의를 위해 이용되는 특별 단계, 사용자에 의해 쌍방향으로 선택되는 값 함수, 본 발명의 공식에 따라 리포맷팅을 위한 방법을 이용하는 시스템 또는 장치에 의해 정의되고 조정되는 값 함수.
현재의 이미지에 대하여, 값 함수는 값 함수의 선택이 수행된 후에 계산된다. 값 맵은 처리가능한 이미지의 차원과 동일한 차원을 가지는 어레이를 나타낸다. 값 맵의 각 요소는 이미지의 대응하는 픽셀의 중요도의 수치적 값을 설정한다. 최저 중요 픽셀을 포함하는 최적의 밀집경로를 발견하기 위해, 이용함으로써 값의 최소 합을 가지는 경로의 검색의 최적화 문제가 해결되는 지향적으로 가중화된 그래프가 구성된다. 그래프 접합점은 이미지의 픽셀에 대응하며, 가중치 계수는 값 맵에 의해 그래프 에지에 부여된다. 따라서 이 검색은 수평 및 수직경로의 계산을 위해 수직 및 수평방향으로 이루어진다. 설정된 최적화 문제의 결정은, 역동적 프로그래밍의 방법 및 알고리즘에 의해 이루어지며, 아래에서 더 상세하게 설명된다. 이렇게 수신된 경로는 그것의 크기/포맷의 변경을 위해 이미지에 제거되거나 추가된다.
위에서 정의된 리포맷팅을 위한 방법은, 이미지의 발견된 경로의 단순한 제외에 의해 이미지의 하나 또는 다수의 측면의 축소를 위해 이용될 수 있다. 그러나, 이미지의 확대의 동작을 위한 어떤 규제가 있다. 이미지에서 최적의 경로의 발견 및 추가 이후에, 리포맷팅의 후속적인 반복의 같은 경로의 발견 및 복제에 대한 큰 기회가 있다는 것은 명백하다. 이것은 리포맷팅의 모든 반복에서 이미지의 확장 및 동일한 경로의 복제의 효과를 가져온다. 그러한 상황의 방지 및 이미지의 확대 동안 수신된 이미지의 크기에 대한 규제를 제거하기 위한 히스토리 맵을 이용하는 것이 제공된다. 히스토리 맵의 각 요소는 이미지의 각 픽셀에 대한 추가적인 중요도를 나타낸다. 여기서 이 중요도는 이미지에 의존하지 않고, 이전 반복에서 추가된/제거된 경로에 의존한다.
히스토리 맵은 리포맷팅의 시작에서 초기화된다. 특히, 최소값이 확대의 동작 동안 히스토리 맵의 모든 요소에 대해서 설정된다. 리포맷팅의 각 반복에서, 히 스토리 맵의 크기 및 처리가능한 이미지는 동일하다. 확대의 동작 동안 발견된 경로는 처리가능한 이미지 및 히스토리 맵 양자에 추가된다. 최대값이 발견된 방법 및 그것의 추가된 복사에 속하는 히스토리 맵의 요소들에 설정된다. 그러한 설정은, 추가된 경로가 후속 반복에서 큰 값의 합을 가질 것이며, 선택되지 않을 것이므로, 확대 동안 동일한 경로의 바람직하지 않은 복제를 회피하는 것을 허용한다.
리포맷팅 동안, 히스토리 맵은 최대값을 가지는 요소에 의해 상당히 채워질 수 있으며, 최적 경로의 검색의 처리는 불가능하게 보일 수 있다. 그러한 상황을 방지하기 위해, 시간과 함께 히스토리 맵의 요소들의 값의 감소로 구성되는 히스토리 맵의 약화의 절차를 이용하는 것이 제공된다. 따라서, 최대값을 가지는 요소들에 의한 히스토리 맵의 과포화(oversaturation)는 가정되지 않는다.
히스토리의 카드가 또한 축소의 동작에서 이미지로부터 배제될 필요가 있는 경로의 축적을 위해 이용된다. 그러한 접근법은 각 반복에서 경로를 제거하는 접근법보다 훨씬 더 효과적으로 보일 수 있다. 또한, 히스토리 맵을 이용하는 것은 이미지의 확대 및 축소의 동작들로 제한되어 있지 않다. 그것은 작거나 큰 값을 히스토리 맵의 대응하는 요소들에 부여함으로써, 사용자에 의해 선택된 대상의 제거 또는 세이빙을 위해 이용될 수 있다.
앞서 언급한 바와 같이, 디지털 사진 및 서류의 이미지의 적응적 리포맷팅을 위한 방법은, (1) 히스토리 맵의 초기화, (2) 본 발명의 내용에 따라 값 함수의 선택, (3) 값 맵의 계산, (4) 히스토리 맵의 약화, (5) 최적 경로의 탐색, (6) 적어도 하나의 계산된 경로를 이용하여 처리가능한 이미지의 업데이트(경로의 제거/추 가 동작), (7) 계산된 경로/경로들을 이용하여 히스토리 맵의 업데이트, (8) 이미지의 필요한 크기/포맷이 수신될 때까지 2 내지 7 단계를 반복하는 단계로 구성된다.
본 발명에 대해서 그래픽 자료들을 이용하여 이하에서 자세히 설명한다.
본 발명의 주된 기술적 특징은 낮은 중요도(자기묘사(self-descriptivenss))를 가지는 픽셀의 추가 또는 제거를 통해 이미지의 크기를 변경하는 하는 것이다. 각 픽셀의 중요도는 값 함수에 의해 결정된다. 이 함수의 종류는 이미지에 포함되는 정보에 의존하여, 리포맷팅의 결과를 결정한다.
도 1은 본 실시예에 따른 디지털 사진 및 문서 이미지의 적응적 리포맷팅 방법의 단계를 나타내는 흐름도이다. 단계 101에서, 픽셀에 대한 값 함수의 계산 규칙이, 이미지의 분석의 결과에 따라서 선택된다. 값 함수의 계산 규칙은 기결정된 규칙 세트로부터 자동 또는 쌍방향으로 선택된다. 그리고, 단계 102에서, 값 맵 및 히스토리 맵이 생성된다. 단계 103에서, 초기 및 요구된 크기에 따라서 이미지가 확대되거나 축소된다. 이미지의 확대 또는 축소는, 보간을 이용하는 이미지의 적어도 하나의 발견된 수평 또는 수직경로를 추가하는 수단 또는 적어도 하나의 발견된 수평 또는 수직경로를 제거하는 수단에 의해 수행된다. 수평경로의 초기 픽셀은 이미지의 좌측 경계에 있으며, 수평경로의 최종 픽셀은 이미지의 우측 경계에 있고, 수평경로 내의 픽셀의 수량이 픽셀들의 이미지의 폭과 동일한 연결된 픽셀들의 체인이다. 수직경로의 초기 픽셀은 이미지의 상부 경계에 있으며, 수직경로의 최종 픽셀은 이미지의 하부 경계 있으며, 경로 내에서의 픽셀의 수량은 픽셀들의 이미지의 높이와 동일한 연결된 픽셀들의 체인이다. 경로의 탐색은 경로의 픽셀들의 값의 합의 최소화에 기초한다. 바람직한 이미지의 크기에 도달되면(단계 104), 방법을 동작을 종료한다. 그렇지 않다면, 값 맵 및 히스토리 맵을 생성(102)하고, 이미지의 바람직한 크기가 도달되지 않거나 경로값의 합이 기결정된 문턱값을 초과하지 않을 때까지, 확대 또는 축소의 단계가 반복된다.
대체적으로, 값 함수(F)는 다음의 식에 의해 정의된다.
F(I,x,y) = grad(I,x,y) + POI(I,x,y)
여기서, I는 처리가능한 이미지, x, y는 픽셀의 좌표, grad(I,x,y)는 좌표 (x,y)를 가지는 픽셀에 대한 기울기 계산의 함수, POI는, 특정 픽셀을 검출하는 함수이다.
함수 grad(I, x, y) 이미지의 고주파 경계에서의 각 픽셀의 일반적인 중요도를 설정한다. 소벨의 연산자(Sobel's operator)와 같은 선형 및 비선형 고주파 필터와, 컬러들의 기울기의 모듈, 수평 및 수직 최종 차, 라플라시안-가우시언(Laplacian-gaussian)이 주어진 함수로서 이용될 수 있다. 그러나, 고주파 경계의 픽셀들만이 디지털 이미지상에서 중요한 것이 아니다. 함수 POI는, 사람의 피부, 건축 구조물의 플레그먼트들 등과 같은 중요한 영역을 제외하고 균일하게 값을 추가한다.
도 2에는 픽셀에 대한 값 함수의 계산 규칙의 선택에 있어서의 이미지의 분 석을 나타내는 흐름도가 도시되어 있다. 먼저 단계 201에서 이미지에 사람이 존재하는지 검출한다. 본 발명의 바람직한 변형 예로서, 사람 피부와 같은 특징의 컬러를 기술하는 함수를 이용하여 실시된다. 유사한 함수들은 예를 들어 자료 "G.Gomez, E.Morales, Automatic feature contstruction and a simple reule induction algorithm for skin detection, proc. of the ICML Workshop on Machine Learning in Computer Vision, PP. 31-38, 2002 [19]"에 설명된다. 사람 피부와 같은 특성을 가지는 컬러의 픽셀들이 중요한 영역을 점유하고 있는 경우, 이미지에 사람이 존재하는 것으로 고려되며, 단계 203에서 픽셀에 대한 값 함수의 계산 규칙이 선택되며, 값의 큰 값들은 아마도 사람 이미지와 관련된 픽셀들에게 부여된다. 단계 205에서는 도시 스테이지 및 건축 구조물에 대한 검출기가 이용된다. 예를 들어, 자료 "N.Serrano, A.Savakis, J. Luo, A computationally efficient approach to indoor/outdoor scene calssification, Proc. International Conference on Pattern Recognition, 2002, 146-149 [20]; 러시아 연방의 특허출원 2006136861[21]과 리포트 "A Vailaya, A. Jain, J.Z. Hong, On image classification: city vs. landscape, Proc. IEEE Workshop on Content-Based Access of Image and Video Libraries, pp. 3-8, 1998 [22]에는 이와 같은 다수의 검출기에 대해서 기재되어 있다. 이미지에 건축 구조물이 있는 경우, 단계 206에서 픽셀에 대한 값 함수의 계산 규칙이 선택되어, 값의 큰 값들은 긴 직선에 대응하는 픽셀들에 부여된다. 단계 207에서 각 픽셀의 값 계산을 위해 고주파 필터가 선택된다. 검출기들은 서로 의존하지 않으며, 다양한 순서로 이용될 수도 있다.
도 3에는 경로 추가에 의한 이미지 확대를 설명하는 흐름도가 도시되어 있다. 단계 301에서, 값의 최소 합을 가지는 적어도 하나의 경로가 정의된다. 1회 반복되는 동안 다수의 경로를 평행하게 처리하는 것이 가능하다. 그리고, 다수의 최근접 픽셀에 의한 보간에 따른 경로 픽셀 다음에 새로운 픽셀이 추가된다(단계 302). 단계 303에서 경로 픽셀에 대응하는 값이 추가되어 히스토리의 카드가 업데이트 되며, 주어진 이전의 맵의 값을 약화시킨다. 값의 계산 함수의 이미지와 히스토리 맵을 픽셀에 적용하는 것에 의해, 값 맵의 값이 업데이트된다(단계 S304).
도 4에는 경로 제거에 의한 이미지 축소를 설명하는 흐름도가 도시되어 있다. 단계 401에서, 값의 최소 합을 가지는 적어도 하나의 경로가 정의된다. 1회 반복되는 동안 다수의 경로를 평행하게 처리하는 것이 가능하다. 그리고, 경로의 픽셀들이 삭제되고 픽셀들의 값이 수정되어, 제거된 경로의 픽셀들로 경계 지어진다단계 402). 단계 403에서, 히스토리 맵은 경로의 픽셀에 대응하는 요소들을 맵으로부터 삭제되고, 경로의 픽셀에 이웃하는 픽셀에 대응하는 값이 그것에 추가되고, 먼저 주어진 맵에 존재하는 값이 약화됨으로써 히스토리 맵은 업데이트된다. 값의 계산 함수의 이미지와 히스토리 맵을 픽셀에 적용하는 것에 의해, 값 맵의 값이 업데이트된다(단계 S404)
도 5에는 디지털 사진 및 서류의 이미지의 적응적 리포맷팅을 위한 시스템의 블록도가 도시되어 있다. 시스템은, 픽셀에 대한 값 함수의 계산 규칙을 선택하는 모듈(501), 값 맵 및 히스토리 맵 생성기(502), 값 맵의 분석 및 경로를 선택하는 모듈(503), 스케일링 모듈(504), 이미지로부터 경로를 제거하는 모듈(505), 이미지 에 경로를 추가하는 모듈(506), 히스토리 맵을 약화하는 모듈(507), 값 맵을 업데이트하는 모듈(508)로 구성된다. 픽셀에 대한 값 함수의 계산 규칙의 선택을 위한 모듈(501)의 출력은, 값 맵 및 히스토리 맵 생성기(502)의 입력과 연결되며, 또한, 값 맵을 업데이트하는 모듈(508)의 입력과도 연결된다. 값 맵 및 히스토리 맵 생성기(502)의 출력은, 값 맵의 분석 및 경로를 선택하는 모듈(503)의 입력과 연결된다. 값 맵의 분석 및 경로를 선택하는 모듈(503)의 출력은 이미지에 경로를 추가하는 모듈(506), 이미지로부터 경로를 제거하는 모듈(505), 스케일링 모듈(504)의 입력과 연결된다. 히스토리 맵을 약화하는 모듈(507)의 출력은, 값 맵을 업데이트하는 모듈(508)의 입력과 연결된다. 값 맵을 업데이트하는 모듈(508)의 출력은 값 맵의 분석 및 경로를 선택하는 모듈(503)의 입력과 연결된다.
픽셀에 대한 값 함수의 계산 규칙을 선택하는 모듈(501)은, 이미지에 포함된 정보에 따라, 기결정된 세트로부터 이미지의 각각의 픽셀에 대한 값 함수의 계산 규칙을 선택하는 동작을 수행한다. 값 맵 및 히스토리 맵 생성기(502)는, 선택된 규칙을 이용하여 값의 초기 맵과 히스토리의 초기 맵을 생성하는 동작을 수행한다. 값 맵의 분석 및 경로를 선택하는 모듈(503)은, 이미지의 좌측 경계에 있는 경로의 초기 픽셀과, 이미지의 우측 경계에 있는 경로의 최종 픽셀, 경로의 픽셀의 수는 픽셀의 이미지의 폭과 동일한 연결된 픽셀로부터 적어도 하나의 수평경로를 정의하는 동작 및 이미지의 상부 경계에 있는 초기 픽셀, 이미지의 하부 경계에 있는 경로의 최종 픽셀, 경로에서의 픽셀 수는 픽셀의 이미지 높이와 동일한 연결된 픽셀로부터 적어도 하나의 수직경로를 정의하는 동작을 수행하고, 발견된 모든 경로의 픽셀의 값의 합이 기정의된 문턱값 이상인 경우, 이미지는 스케일링 모듈(504)로 전달되며, 발견된 모든 경로의 픽셀의 값의 합이 기정의된 문턱값 미만인 경우, 이미지의 측면의 현재 및 요구된 비율에 따라 이미지에 경로를 추가하는 모듈(506) 또는 이미지에 경로를 제거하는 모듈(505)로 전달된다.
이미지에 경로를 추가하는 모듈(506)은, 다수의 최근접 픽셀에 대한 보간을 이용하여 발견된 적어도 하나의 경로를 추가하는 것에 의해 현재 이미지를 확대하는 동작을 수행한다. 이미지에 경로를 제거하는 모듈(505)은 발견된 적어도 하나의 경로를 제거하는 것에 의해 현재 이미지를 축소하는 동작을 수행한다. 히스토리 맵을 약화하는 모듈(507)은 앞서 제거되거나 추가된 경로의 픽셀들의 근접성에 대응하는 히스토리 맵의 값을 감소시키는 동작을 수행한다. 값 맵을 업데이트하는 모듈(508)은, 앞서 선택된 규칙 및 히스토리 맵을 이용하여 값 맵을 다시 계산하는 동작을 수행한다.
기본적인 시스템에서의 기본적인 주요한 동작은 앞서 설명하였다. 최적의 경로, 히스토리 맵, 이미지의 크기/포맷의 변경의 처리 계산에 대해서 이하에서 자세히 설명한다.
최적 경로의 계산을 위한 단계에서의 주요한 문제는, 이미지의 양 경계 간에 수직 또는 수평 방향으로 픽셀들의 연결된 경로를 검색하는 것이다. 도 6은 이미지의 상부 경계(601) 및 하부 경계(602)를 도시하며, 또한 이미지의 좌측 경계(603) 및 우측 경계(604)가 도 6에 도시되어 있다. 수직경로의 검색은 상부(601) 및 하부(602) 경계 사이에 수행되며, 수평경로의 검색은 따라서 좌측(603) 및 우측(604) 경계 사이에서 수행된다.
이미지의 상부(601) 또는 좌측(603) 경계에 속하는 각 픽셀에 대하여, 지향적으로 가중화된 그래프가 도 7에 도시된 바와 같이 구성된다. 이미지의 각 픽셀은 대응하는 그래프 접합점에 연관된다. 각 그래프 접합점은 설정된 가중치 팩터를 가지는 3개의 에지를 가진다. 에지의 수량은 엄격하게 제한되지 않는다. 각 그래프 접합점에서 시작하는 5 에지 및 그 이상의 에지를 가지는 그래프에서도 본 발명이 구현될 수도 있다. 그러나, 3 에지 보다 많은 에지를 가지는 그래프를 이용하는 경우에는, 최적 경로의 검색의 알고리즘의 계산 복잡성은 증가하고, 이미지에서의 대상의 연결성이 감소하며, 이것은 수신된 결과의 품질 감소를 야기할 수 있다.
가중치 계수 w(i,j,k)가 각 에지에 할당되며, 계수는, 도 8에 도시된 방식에 따라 값 맵의 대응하는 값 플러스 방식에 따른 히스토리 맵의 요소의 대응하는 값과 동일하다. 가중치 계수는, 다음의 공식들에 따라서, 현재 그래프 접합점으로부터 시작하는 각 에지에 부여된다.
w(i,j,l)=a(i-1,j+1)+h(i-1,j+1)
w(i,j,2)=a(i,j+1)+h(i,j+1)
w(i,j,3)=a(i+1,j+1)+h(i+1,j+1)'
여기서, i, j는 그래프 접합점의 대응하는 좌표, k는 에지의 수, a()는 값 맵에 대응하는 요소, h()는 히스토리 맵에 대응하는 요소를 나타낸다.
또한, 설정된 그래프에서 이미지의 경계 사이의 최적 경로의 검색 문제가 나 타난다. 최적성은 경로를 따라 값의 최소 합을 가지는 연결된 경로를 검색하는 것으로 정의된다. 에지(a1, a2,...an)의 순열로 구성되는 경로(μ)의 값의 합l(μ)은 μ에 대한 가중치 계수를 더한 합과 동일하며, 다음의 공식에 의해 정의된다.
Figure 112008080563374-pat00001
최적 경로는 그래프에 대한 검색 알고리즘 및 역동적 프로그래밍 방법에 의해 효율적으로 검색될 수 있다. 현재 이와 같은 알고리즘 세트가 있으며, 이와 같은 알고리즘의 실현 및 설명은 본 발명의 범위 밖이다.
발견된 최적 경로(901)는 처리 가능한 이미지(906)를 2개의 파트(백색 원(902) 및 백색 사각형(903))로 분리한다. 축소된 이미지는 2개의 파트(902a, 903a)로 이루어진다. 발견된 최적 경로(901)에 속하는 픽셀로부터 바로 근접하게 위치하는 픽셀들로 구성된 픽셀(905, 904)의 그룹은, 이미지로부터 경로(901)를 제외시키는 동안 평탄화를 위한 보간 및 가능한 경함의 보상의 절차가 추가적으로 수행될 수 있다.
유사한 방법이 확대 동작에서 이용된다(도 10 참조). 발견된 최적의 경로(1001)는 처리 가능한 이미지(1004)를 2개의 파트(1002, 1003)로 분리한다. 확대된 이미지(1005)는 이미지 파트(1002, 1003)와 등가인 2개의 파트(1002a, 1003a)로 구성된다. 발견된 최적 경로(1001)는 발견된 경로를 따라 복제된 픽셀들이 이미 지(1005)에 추가됨으로써, 복사물(1001a, 1001b)을 형성한다. 최적 경로(1001a, 1001b)의 복사물에 해당하는 픽셀에 대해서 추가적인 보간 절차가 수행될 수 있다.
또한, 히스토리 맵은 이미지의 확대의 반복시 업데이트되며, 발견된 최적 경로에 따라서 업데이트된다. 도 11은 히스토리 맵의 업데이팅(1103) 및 약화(1105)의 예를 도시한다. 히스토리 맵(1102)과 발견된 최적의 경로(1101)는 확대된 히스토리 맵(1104)을 수신하는데 이용된다. 발견된 최적의 경로(1101a) 및 그것에 의해 복제된 복사물(1101b)에 속하는 히스토리 맵 요소에 최대값이 부여된다. 약화된 히스토리 맵(1106)은 일정한 값에 의해 감쇄된 요소를 갖는 확대된 히스토리 맵(1104)을 나타낸다. 이 예에서 다음의 용이성 함수가 사용되었다.
H(i,j)=H(i,j)-1-C
여기서 H(i,j)는 약화된 히스토리 맵의 요소의 값, H(i,j)-1은 약화 처리 이전에 히스토리 맵의 요소의 값, C는 기결정된 상수를 나타낸다. 다른 약화 함수 또한 사용될 수 있으며, 상술한 결과를 갖는 약화 함수화에 제한되지 않는다.
본 실시예에 따른 디지털 이미지의 적응적 리포맷팅 시스템은, 결과 이미지의 요구된 크기/포맷을 알고 있을 때, 자동 모드로 완벽히 동작할 수 있다. 또한 본 발명은 이미지의 최종 크기/포맷을 모르는 경우, 리포맷팅을 위한 쌍방향 시스템의 형태로 실현될 수 있다. 초기 디지털 이미지(1201)는 리포맷팅을 위한 적응적 시스템(1202)에 의해 새로운 크기/포맷을 가지는 이미지(1203)로 리포맷된다. 결과 이미지의 크기/포맷은, 리포맷팅을 위한 시스템의 입력으로 진입하는 사용자 신호의 생성에 의해 쌍방향 모드에서 사용자(1205)에 의해 제어된다. 리포맷팅의 중간/최종 결과(1203)는 디스플레이 장치(1204)에 표시되며, 사용자(1205)에 의해 인식된다. 사용자(1205)는 디스플레이 장치(1204)에 의해 표시된 중간결과에 기초하여 결정하며, 바람직한 결과 이미지의 수신을 위한 새로운 제어신호를 생성한다.
본 발명은 복사기와 같은 장치에 적용될 수도 있다(도 13 참조). 먼저 종이 서류(1301)는 스캐닝을 위한 장치(1302)에 의해 스캔된다. 종이 서류의 수신된 디지털 표현은, 사용자 및/또는 복사기로부터 나오는, 입력되는 동작 신호에 따라서 청구된 발명의 리포맷팅을 위한 시스템(1303)에 의해 리포맷된다. 이후, 리포맷된 디지털 이미지는 대응하는 디스플레이 장치(1305)에 프린트/표시된다. 따라서, 종이 리포맷된 서류(1306)가 결과이다. 유사한 접근법이 팩시밀리 서류를 리포맷팅하기 위한 팩시밀리 장치(도 14 참조)를 위해 이용될 수 있다.
디지털 이미지의 리포맷팅을 위한 적응적 시스템의 중요한 산업응용은 HTML 서류의 리포맷팅으로 구성된다. HTML 서류의 리포맷팅을 위한 시스템은 도 15에 도시되어 있다. HTML 서류의 문제는, HTML 서류의 크기가 개발자에 의해 엄격하게 설정될 수 있다는 것으로 구성되며, 그것은 서류의 HTML 개발자기 제공한 것보다 작은 크기를 가지는 디스플레이 공간에서의 HTML 서류의 디스플레이에 <<스크롤 바>>의 출현을 야기한다. 문제의 다른 이유는, 크기가 디스플레이의 결함을 야기시키지 않고 축소/확대하기에 어려운 HTML 서류에서의 이미지 세트의 존재이다. 따라서, 스크린의 작은 해상도를 가지는 디스플레이를 가지는 장치(포켓 컴퓨터, 이동 전화 기, 미디어 디스플레이어 등)에 HTML 페이지의 디스플레이 문제가 있다. 다른 문제는 프린터에서의 HTML 서류의 인쇄로 구성된다.
HTML 서류의 정확한 디스플레이를 위한 HTML 서류의 리포맷팅을 위한 시스템의(도 15) 사용이 제공된다. 초기 HTML 서류는 HTML 서류에 포함되는 이미지/플레쉬 애니메이션을 분석하는 이미지의 분석을 위한 모듈(1501)의 입력에 진입한다. 수신된 이미지는 제어 신호(1504)에 따라서 이미지의 크기/포맷의 변경을 위한 리포맷팅을 위한 시스템(1503)에 의해 리포맷된다. HTML 링커(1505)는 리포맷된 이미지를 가지는 새로운 HTML 서류를 생성한다. 리포맷된 서류(1506)는 대응하는 디스플레이 장치(1507)에 표시된다.
본 발명 실행의 상기 변형 예가 청구된 발명을 도시할 목적으로 게시되었지만, 다양한 변경들, 보충들 및 대체들이, 그들이 동봉된 청구항들에서 설명된 본 발명의 범주 및 의미 이상이 되지 않는 한, 가능하다는 것이 전문가들에게 명백해야 할 것이다.
이상에서는 본 발명의 바람직한 실시예에 대해서 도시하고, 설명하였으나, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
도 1은 본 실시예에 따른 디지털 사진 및 문서 이미지의 적응적 리포맷팅 방법의 단계를 나타내는 흐름도,
도 2는 픽셀에 대한 값 함수의 계산 규칙의 선택에 있어서의 이미지의 분석을 나타내는 흐름도,
도 3은 경로 추가에 의한 이미지 확대를 설명하는 흐름도,
도 4는 경로 제거에 의한 이미지 축소를 설명하는 흐름도,
도 5는 본 실시예에 다른 시스템의 블록도,
도 6은 최적 경로의 검색에 사용되는 이미지의 경계들을 나타내는 모식도,
도 7은 최적 경로의 검색의 최적화 문제의 결정에 대한 그래프의 모델을 나타내는 모식도,
도 8은 그래프 에지에 대한 가중치의 부여를 나타내는 모식도,
도 9는 리포맷팅 동안 이미지의 축소를 나타내는 모식도,
도 10은 리포맷팅 동안 이미지의 확대를 나타내는 모식도,
도 11은 히스토리 맵의 업데이팅 및 약화를 나타내는 모식도,
도 12는 리포맷팅을 위한 쌍방향 시스템을 나타내는 블록도,
도 13은 복사기를 위한 리포맷팅을 위한 시스템의 블록도,
도 14는 팩시밀리 기계를 위한 리포맷팅을 위한 시스템의 블록도,
도 15는 HTML 서류를 리포맷팅하기 위한 시스템의 블록도,
도 16 내지 도 19는 서류에 대한 리포맷된 이미지의 예들을 나타내는 도면,
도 18은 HTML 서류에 대한 리포맷팅의 예를 나타내는 도면, 그리고,
도 20 내지 도 23은, 초기 포맷 4:3을 포맷 3:2로 변환하기 위해 사진에 리포맷팅을 위한 시스템을 이용하는 예들을 나타내는 도이다.

Claims (21)

  1. 픽셀에 대한 값 함수의 계산 규칙을 선택하는 모듈, 값 맵 및 히스토리 맵 생성기, 값 맵 분석 및 경로를 선택하는 모듈, 이미지에 경로를 추가하는 모듈, 이미지로부터 경로를 제거하는 모듈, 스케일링하는 모듈, 히스토리 맵을 약화하는 모듈, 값 맵을 업데이트하는 모듈을 포함하는 디지털 사진을 적응적 리포맷팅하기 위한 시스템에 있어서,
    상기 픽셀에 대한 값 함수의 계산 규칙을 선택하는 모듈의 출력은, 상기 값 맵 및 히스토리 맵 생성기의 입력 및 상기 값 맵을 업데이트하는 모듈의 입력에 연결되며, 상기 값 맵 및 히스토리 맵 생성기의 출력은, 상기 값 맵 분석 및 경로를 선택하는 모듈의 입력에 연결되며, 상기 값 맵 분석 및 경로를 선택하는 모듈의 입력은, 상기 이미지에 경로를 추가하는 모듈, 상기 이미지로부터 경로를 제거하기 위한 모듈 및 상기 스케일링하는 모듈의 입력들에 연결되며, 상기 이미지에 경로를 추가하는 모듈 및 상기 이미지로부터 경로를 제거하는 모듈의 출력은 상기 히스토리 맵을 약화하는 모듈의 입력에 연결되며, 상기 히스토리 맵을 약화하는 모듈의 출력은, 상기 값 맵을 업데이트하는 모듈의 입력과 연결되며, 상기 값 맵을 업데이트하는 모듈의 출력은, 상기 값 맵 분석과 경로의 선택을 위한 모듈의 입력과 연결되며,
    상기 픽셀에 대한 값 함수의 계산 규칙을 선택하는 모듈은, 이미지에 포함되어 있는 정보에 따라 기결정된 규칙의 세트로부터 각 픽셀에 대한 값 함수의 계산 규칙을 선택하는 동작을 수행하며,
    상기 값 맵 및 히스토리 맵 생성기는, 상기 선택된 규칙을 이용하여, 값의 초기 맵 및 히스토리의 초기 맵을 생성하는 동작을 수행하며,
    상기 값 맵 분석 및 경로를 선택하는 모듈은, 경로의 초기 픽셀은 이미지의 좌측 경계에 있으며, 경로의 최종 픽셀은 이미지의 우측 경계에 있으며, 경로에서의 픽셀의 수량은 픽셀들에서의 이미지의 폭과 동일한, 연결된 픽셀들로부터 적어도 하나의 수평경로를 결정하는 동작 및, 경로의 초기 픽셀은 이미지의 상부 경계에 있으며, 경로의 최종 픽셀은 이미지의 하부 경계에 있으며, 경로에서의 픽셀의 수량은 픽셀에서의 이미지의 높이와 동일한, 연결된 픽셀로부터 적어도 하나의 수직경로를 결정하는 동작을 수행하며, 발견된 모든 경로의 모든 픽셀의 값의 합이 기결정된 문턱값 이상인 경우, 상기 이미지를 상기 스케일링하는 모듈로 전달하며, 기결정된 문턱값 미만인 경우 상기 이미지, 값 맵 및 히스토리 맵을, 상기 이미지의 측면의 현재 및 요구된 비율에 따라서 상기 이미지에 경로를 추가하는 모듈 또는 상기 이미지로부터 경로를 제거하는 모듈로 전달하며,
    상기 이미지에 경로를 추가하는 모듈은, 다수의 최근접 픽셀들에 대한 보간을 이용하여 적어도 하나의 발견된 상기 경로를 상기 이미지에 추가하는 것에 의하여 현재의 이미지를 확대하는 동작을 수행하며,
    상기 이미지로부터 경로를 제거하는 모듈은, 상기 이미지로부터 적어도 하나의 발견된 상기 경로를 제거하는 것에 의해 현재의 이미지를 축소하는 동작을 수행하며,
    상기 히스토리 맵을 약화하는 모듈은, 먼저 제거되거나 추가된 경로의 픽셀들 환경에 대응하는 히스토리 맵에서의 값을 감소시키는 동작을 수행하며,
    상기 값 맵을 업데이트하는 모듈은, 이전에 선택된 규칙 및 히스토리 맵을 이용하여, 값 맵을 재계산하는 동작을 수행하는 시스템.
  2. 디지털 사진 및 서류의 이미지를 적응적 리포맷팅하기 위한 방법에 있어서,
    이미지의 분석의 결과에 따라서 픽셀에 대한 값 함수의 계산 규칙을 선택하는 단계;
    값 맵 및 히스토리 맵을 생성하는 단계;
    이미지의 크기가 보간에 의해 적어도 하나의 발견된 경로의 추가/제거에 의해 변경되는 단계로서, 수평 및 수직경로가 이용될 수 있으며, 상기 수평경로의 초기 픽셀은 상기 이미지의 좌측 경계에 있으며, 상기 수평경로의 최종 픽셀은 상기 이미지의 우측경계에 있으며, 상기 수평경로에서의 픽셀의 수량은 픽셀들에서의 이미지의 폭과 동일한 연결된 픽셀들의 체인이며, 상기 수직경로의 초기 픽셀은 상기 이미지의 상부 경계에 있으며, 상기 수직경로의 최종 픽셀은 상기 이미지의 하부 경계에 있으며, 상기 수직경로에서의 픽셀의 수량은 픽셀들에서의 이미지의 높이와 동일한 연결된 픽셀들의 체인이며, 상기 경로의 검색은 경로의 픽셀들의 값의 합의 최소화에 의해 수행되는 이미지의 크기 변경단계; 및
    이미지 크기가 요구된 이미지 크기가 되거나, 경로값의 합이 기결정된 문턱값을 초과할 때까지 상기 값 맵 및 히스토리 맵의 생성 단계 및 상기 이미지의 크 기 변경 단계가 반복되는 단계;를 수행하는 방법.
  3. 제 2항에 있어서,
    상기 값 함수의 계산 규칙의 선택시 사람의 얼굴 이미지를 검출하는 것이 이용되는 방법.
  4. 제 2항에 있어서,
    상기 값 함수의 계산 규칙의 선택시 도시 스테이지 및 건축물의 검출기가 이용되는 방법.
  5. 제2항에 있어서,
    상기 값 맵 생성시 고주파 필터가 이용되는 방법.
  6. 제2항에 있어서,
    상기 값 맵 생성시 사람 피부에 전형적인 컬러를 기술하는 함수가 이용되는 방법.
  7. 제2항에 있어서,
    상기 이미지 크기의 변경은, 값의 최소 합을 가지는 경로가 정의되며, 다수의 최근접 픽셀들에 의한 보간을 이용하여 경로의 픽셀에 이웃하여 새로운 픽셀들 을 추가하며, 히스토리 맵에서의 값을 약화하여 히스토리 맵을 업데이트하고, 값 맵에서의 값을 업데이트하는 동작을 수행하여 적어도 하나의 경로를 추가하는 것에 의한 상기 이미지를 확대하는 방법.
  8. 제 2항에 있어서,
    상기 이미지의 크기의 변경은, 값의 최소 합을 가지는 경로가 정의되고, 경로의 픽셀을 제거하고, 픽셀의 값을 수정하여, 제거된 경로의 픽셀로 경계 짓고, 히스토리 맵에서의 값을 약화하여 히스토리 맵을 업데이트하고, 값 맵에서의 값을 업데이트하는 동작을 수행하여 적어도 하나의 경로를 제거하는 것에 의한 상기 이미지를 축소하는 방법.
  9. 제 8항에 있어서,
    상기 히스토리 맵을 약화하여 히스토리 맵을 업데이트하는 단계는, 다음의 수식을 이용하는 방법.
    H(i,j)=H(i,j)-1-C
    여기서, H(i,j)는 히스토리 맵의 요소의 값, H(i,j)-1은 약화 이전에 히스토리 맵의 요소의 값, C는 기결정된 상수.
  10. 이미지에 포함되어 있는 정보에 따라 기결정된 규칙의 세트로부터 각 픽셀에 대한 값 함수의 계산 규칙을 선택하는 모듈;
    상기 선택된 규칙을 이용하여, 값의 초기 맵 및 히스토리의 초기 맵을 생성하는 생성기;
    상기 값의 초기 맵을 분석하여, 값의 최소 합을 가지는 적어도 하나의 수평경로 또는 수직경로를 검색하는 모듈, 및,
    상기 검색된 경로를 이용하여 경로를 추가하거나 제거하여 상기 이미지의 크기를 변경하는 모듈;를 포함하는 화상형성장치.
  11. 제10항에 있어서,
    상기 수평경로는, 상기 이미지의 좌측 경계에 초기 픽셀이 있으며, 상기 이미지의 우측경계에 최종 픽셀이 있으며, 픽셀들에서의 이미지의 높이와 동일한 픽셀의 수량을 갖는 픽셀들의 체인이며,
    상기 수직경로는, 상기 이미지의 상부 경계에 초기 픽셀이 있으며, 상기 이미지의 하부 경계에 최종 픽셀이 있으며, 픽셀들에서의 이미지의 높이와 동일한 픽셀의 수량을 갖는 픽셀들의 체인인 것을 특징으로 하는 화상형성장치.
  12. 제10항에 있어서,
    상기 경로의 값의 합이 기결정된 문턱값 이상인 경우, 상기 이미지를 스케일링하는 모듈;를 더 포함하는 것을 특징으로 하는 화상형성장치.
  13. 제10항에 있어서,
    상기 이미지 크기를 변경하는 모듈은,
    상기 이미지에 상기 검색된 경로를 추가하는 모듈; 및
    상기 이미지로부터 상기 검색된 경로를 제거하는 모듈;을 포함하는 것을 특징으로 하는 화상형성장치.
  14. 제13항에 있어서,
    상기 검색된 경로를 추가하는 모듈은,
    다수의 최근접 픽셀들에 의한 보간을 이용하여 상기 검색된 경로의 픽셀에 이웃하여 새로운 픽셀들을 추가하며, 히스토리 맵에서의 값을 약화하여 히스토리 맵을 업데이트하고, 값 맵에서의 값을 업데이트하는 동작을 수행하여 적어도 하나의 경로를 추가하는 것을 특징으로 하는 화상형성장치.
  15. 제13항에 있어서,
    상기 검색된 경로를 제거하는 모듈은,
    값의 최소 합을 가지는 경로가 정의되고, 경로의 픽셀을 제거하고, 픽셀의 값이 수정되어, 제거된 경로의 픽셀로 경계 짓고, 히스토리 맵에서의 값을 약화하여 히스토리 맵을 업데이트하고, 값 맵에서의 값을 업데이트하는 동작을 수행하여 적어도 하나의 경로를 제거하는 것을 특징으로 하는 화상형성장치.
  16. 제10항에 있어서,
    상기 값 함수의 계산 규칙을 선택하는 모듈은, 사람의 얼굴 이미지를 검출을 이용하는 것을 특징으로 하는 화상형성장치.
  17. 제10항에 있어서,
    상기 값 함수의 계산 규칙을 선택하는 모듈은, 도시 스테이지 및 건축물의 검출을 이용하는 것을 특징으로 하는 화상형성장치.
  18. 제10항에 있어서,
    상기 생성기는, 고주파 필터를 이용하는 것을 특징으로 하는 화상형성장치.
  19. 제10항에 있어서,
    상기 생성기는, 사람 피부에 전형적인 컬러를 기술하는 함수를 이용하는 것을 특징으로 하는 화상형성장치.
  20. 청구항 1항의 시스템을 이용하는 화상형성장치.
  21. 디지털 사진 및 서류의 이미지를 적응적 리포맷팅하는 화상형성장치에 있어서,
    이미지의 분석의 결과에 따라서 픽셀에 대한 값 함수의 계산 규칙을 선택하는 모듈;
    값 맵 및 히스토리 맵을 생성하는 모듈; 및
    이미지의 크기가 보간에 의해 적어도 하나의 발견된 경로의 추가/제거에 의해 변경되는 단계로서, 수평 및 수직경로가 이용될 수 있으며, 상기 수평경로의 초기 픽셀은 상기 이미지의 좌측 경계에 있으며, 상기 수평경로의 최종 픽셀은 상기 이미지의 우측경계에 있으며, 상기 수평경로에서의 픽셀의 수량은 픽셀들에서의 이미지의 폭과 동일한 연결된 픽셀들의 체인이며, 상기 수직경로의 초기 픽셀은 상기 이미지의 상부 경계에 있으며, 상기 수직경로의 최종 픽셀은 상기 이미지의 하부 경계에 있으며, 상기 수직경로에서의 픽셀의 수량은 픽셀들에서의 이미지의 높이와 동일한 연결된 픽셀들의 체인이며, 상기 경로의 검색은 경로의 픽셀들의 값의 합의 최소화에 의해 수행되는 이미지의 크기 변경하는 모듈;를 포함하고,
    상기 변경하는 모듈은,
    이미지 크기가 요구된 이미지 크기가 되거나, 경로값의 합이 기결정된 문턱값을 초과할 때까지 상기 값 맵 및 히스토리 맵의 생성 단계 및 상기 이미지의 크기 변경을 반복하는 화상형성장치.
KR1020080116516A 2008-01-10 2008-11-21 디지털 이미지의 적응적 리포맷팅을 위한 방법 및 시스템 KR101297177B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/342,515 US8472753B2 (en) 2008-01-10 2008-12-23 Method and system of adaptive reformatting of digital image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RURU2008100088 2008-01-10
RU2008100088/09A RU2368006C1 (ru) 2008-01-10 2008-01-10 Способ и система адаптивного переформатирования цифровых изображений

Publications (2)

Publication Number Publication Date
KR20090077662A KR20090077662A (ko) 2009-07-15
KR101297177B1 true KR101297177B1 (ko) 2013-08-20

Family

ID=41046530

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080116516A KR101297177B1 (ko) 2008-01-10 2008-11-21 디지털 이미지의 적응적 리포맷팅을 위한 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR101297177B1 (ko)
RU (1) RU2368006C1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2528082C2 (ru) * 2012-07-23 2014-09-10 Общество с ограниченной ответственностью "Фирма Фото-Тревел" Способ автоматического ретуширования цифровых фотографий
RU2640299C2 (ru) * 2015-06-30 2017-12-27 Общество С Ограниченной Ответственностью "Яндекс" Способ, электронное устройство и сервер организации истории браузера
RU2632131C2 (ru) * 2015-08-28 2017-10-02 Общество С Ограниченной Ответственностью "Яндекс" Способ и устройство для создания рекомендуемого списка содержимого
RU2629638C2 (ru) 2015-09-28 2017-08-30 Общество С Ограниченной Ответственностью "Яндекс" Способ и сервер создания рекомендуемого набора элементов для пользователя
RU2632100C2 (ru) 2015-09-28 2017-10-02 Общество С Ограниченной Ответственностью "Яндекс" Способ и сервер создания рекомендованного набора элементов
CN106611580A (zh) 2015-10-22 2017-05-03 小米科技有限责任公司 内容显示方法及装置
RU2632144C1 (ru) 2016-05-12 2017-10-02 Общество С Ограниченной Ответственностью "Яндекс" Компьютерный способ создания интерфейса рекомендации контента
RU2636702C1 (ru) 2016-07-07 2017-11-27 Общество С Ограниченной Ответственностью "Яндекс" Способ и устройство для выбора сетевого ресурса в качестве источника содержимого для системы рекомендаций
RU2632132C1 (ru) 2016-07-07 2017-10-02 Общество С Ограниченной Ответственностью "Яндекс" Способ и устройство для создания рекомендаций содержимого в системе рекомендаций
USD882600S1 (en) 2017-01-13 2020-04-28 Yandex Europe Ag Display screen with graphical user interface
RU2720899C2 (ru) 2018-09-14 2020-05-14 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для определения зависящих от пользователя пропорций содержимого для рекомендации
RU2714594C1 (ru) 2018-09-14 2020-02-18 Общество С Ограниченной Ответственностью "Яндекс" Способ и система определения параметра релевантность для элементов содержимого
RU2720952C2 (ru) 2018-09-14 2020-05-15 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для создания рекомендации цифрового содержимого
RU2725659C2 (ru) 2018-10-08 2020-07-03 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для оценивания данных о взаимодействиях пользователь-элемент
RU2731335C2 (ru) 2018-10-09 2020-09-01 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для формирования рекомендаций цифрового контента
RU2757406C1 (ru) 2019-09-09 2021-10-15 Общество С Ограниченной Ответственностью «Яндекс» Способ и система для обеспечения уровня сервиса при рекламе элемента контента
CN113808510B (zh) * 2020-06-15 2024-04-09 明基智能科技（上海）有限公司 影像调整方法
KR102466717B1 (ko) * 2020-07-24 2022-11-15 주식회사 한글과컴퓨터 문서의 포맷을 변환하는 포맷 변환 엔진이 탑재되어 있는 문서 변환 서버들에 대해, 문서의 포맷 변환을 위한 작업 할당을 수행하는 문서 변환 작업 할당 스케줄링 장치 및 그 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05233794A (ja) * 1992-02-20 1993-09-10 Hitachi Ltd 多値自然画デジタル画像の拡大方法及びその拡大装置
KR970004544B1 (ko) * 1993-05-31 1997-03-28 삼성전자 주식회사 디지탈 화상의 확대/축소 방법
JP2005507102A (ja) 2001-05-02 2005-03-10 ビットストリーム インコーポレーティッド 可変スケール・ファクタにより縮小された情報媒体を表示するための方法、システム、及びプログラム
KR100594073B1 (ko) 2002-09-17 2006-07-03 삼성전자주식회사 내장형 시스템의 디지털 영상 스케일링방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05233794A (ja) * 1992-02-20 1993-09-10 Hitachi Ltd 多値自然画デジタル画像の拡大方法及びその拡大装置
KR970004544B1 (ko) * 1993-05-31 1997-03-28 삼성전자 주식회사 디지탈 화상의 확대/축소 방법
JP2005507102A (ja) 2001-05-02 2005-03-10 ビットストリーム インコーポレーティッド 可変スケール・ファクタにより縮小された情報媒体を表示するための方法、システム、及びプログラム
KR100594073B1 (ko) 2002-09-17 2006-07-03 삼성전자주식회사 내장형 시스템의 디지털 영상 스케일링방법

Also Published As

Publication number Publication date
RU2368006C1 (ru) 2009-09-20
KR20090077662A (ko) 2009-07-15
RU2008100088A (ru) 2009-07-20

Similar Documents

Publication Publication Date Title
KR101297177B1 (ko) 디지털 이미지의 적응적 리포맷팅을 위한 방법 및 시스템
US8472753B2 (en) Method and system of adaptive reformatting of digital image
JP5274495B2 (ja) 文書画像サイズ変更方法
US6791723B1 (en) Method and system for scanning images in a photo kiosk
US6898316B2 (en) Multiple image area detection in a digital image
EP1968008B1 (en) Method for content-aware image retargeting
US8977076B2 (en) Thumbnail based image quality inspection
US8134578B2 (en) Hybrid importance maps for content aware digital image resizing
KR101737338B1 (ko) 주석이 달린 문서 이미지들로부터 클린 문서를 복원하기 위한 시스템 및 방법
JP4948593B2 (ja) 以前に圧縮された画像における合成の検出
JP2002135592A (ja) 画像処理装置及び記録媒体
TW201446009A (zh) 利用全彩影像之雜訊減低彩色影像
WO2008121280A2 (en) Edge mapping using panchromatic pixels
Brown et al. Restoring 2D content from distorted documents
JP4556813B2 (ja) 画像処理装置、及びプログラム
US7724953B2 (en) Whiteboard, blackboard, and document image processing
JP2006092555A (ja) 領域検出方法および領域検出プログラム
JPH0581424A (ja) ノイズ除去方法
Kiess et al. Seam carving with improved edge preservation
EP1255229A2 (en) Animation Method
KR101913623B1 (ko) 촬영 이미지를 이용한 3차원 광고 생성 방법
KR100587979B1 (ko) 이미지 확대를 위한 경계선 및 귀퉁이 기반 보간 방법
EP0975146A1 (en) Locating the position and orientation of multiple objects with a smart platen
Bucha et al. Retargeting of digital photos and documents
EP0974931A1 (en) Method and apparatus for identifying a plurality of sub-images in an input image

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20081121

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20111115

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20081121

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20121123

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20130510

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20130809

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20130812

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20170705