KR100998428B1 - 이미지 평가 방법 및 이미지 이동 결정 방법 - Google Patents

이미지 평가 방법 및 이미지 이동 결정 방법 Download PDF

Info

Publication number
KR100998428B1
KR100998428B1 KR1020097002081A KR20097002081A KR100998428B1 KR 100998428 B1 KR100998428 B1 KR 100998428B1 KR 1020097002081 A KR1020097002081 A KR 1020097002081A KR 20097002081 A KR20097002081 A KR 20097002081A KR 100998428 B1 KR100998428 B1 KR 100998428B1
Authority
KR
South Korea
Prior art keywords
image
dominant line
information
saliency
mesh
Prior art date
Application number
KR1020097002081A
Other languages
English (en)
Other versions
KR20090026206A (ko
Inventor
시몬 위도우슨
제임스 에이 로슨
레디 프라케쉬
이몬 오′브라이언-스트레인
Original Assignee
휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. filed Critical 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Publication of KR20090026206A publication Critical patent/KR20090026206A/ko
Application granted granted Critical
Publication of KR100998428B1 publication Critical patent/KR100998428B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis

Abstract

지배 라인에 대해 이미지를 평가하는 방법(1100)에 있어서, 이미지의 현출성에 관한 변형된 메시 정보가 수신된다(1105). 변형되지 않은 메시 정보 내의 대응하는 구성요소에 대하여 상기 변형된 메시 정보의 구성요소의 변위가 결정된다(1115). 지배 라인에 대해 상기 이미지를 평가하기 위해 상기 변위의 통계적 표현이 사용된다(1125).

Description

이미지 평가 방법 및 이미지 이동 결정 방법{IMAGE DOMINANT LINE DETERMINATION AND USE}
본 발명의 실시예는 이미지 분석을 위한 방법 및 시스템에 관한 것이고, 보다 구체적으로는 이미지의 지배 라인(dominant line)을 결정 및 사용하는 기술에 관한 것이다.
개인용 컴퓨터, 프로젝트형 디스플레이 및 오락 장치 상에서 이루어지는 자동화된 포토 슬라이드쇼 타입의 프리젠테이션의 진화는 사용자가 디지털 이미지의 많은 수집물을 축적함에 따라 점점 일반화되고 있다. 이들 슬라이드쇼 타입의 프리젠테이션을 디스플레이하는데 사용되는 다수의 방법은 프리젠테이션을 보다 관심 있게 하기 위한 시도로서 이미지에 대한 패닝(panning) 동작 또는 보기 영역 내에서 이미지를 이동시키는 동작과 같은 소정 형태의 애니메이션(animation)을 구현한다. 이러한 유형의 애니메이션의 일부 형태는 일반적으로 "오토-로스트러밍(auto-rostruming)" 또는 "켄 번즈 효과(Ken Burns effect)"로 알려져 있다.
현재 이미지 이동 또는 패닝의 이러한 자동화된 애플리케이션은 꽤 조잡하고 전형적으로는 랜덤한 방식으로 적용된다. 때때로, 이동 및 패닝의 이러한 랜덤한 애플리케이션은 예를 들어 고층 빌딩의 이미지가 랜덤하게 패닝 업 또는 다운되어 보통 육안으로 실제 고층 빌딩을 스캐닝하는 방식과 동일한 방식으로 빌딩의 프로파일을 나타내는 경우 수용가능한 또는 흥미로운 결과를 생성할 수도 있다. 그러나, 현재의 자동화된 애니메이션 방법은 수용가능하지 않고 그 보다 슬라이드쇼 타입의 프리젠테이션에서 디스플레이되는 이미지 또는 이미지들을 손상시키는 이동 또는 패닝 애니메이션을 야기가 쉽다(흔히, 보다 더 야기하기 쉽다).
본 명세서에 포함되며 본 명세서의 일부를 형성하는 첨부한 도면은 본 발명의 실시예를 예시하고, 상세한 설명과 함께 이하에서 기술되는 원리를 설명하는 역할을 한다.
도 1은 본 발명의 실시예에 따라 사용되는 예시적인 컴퓨터 시스템을 나타내는 도면,
도 2는 본 발명의 일 실시예에 따른 예시적인 이미지 패닝 시스템의 블록도,
도 3은 본 발명의 일 실시예에 따른 변형된 메시 생성기(warped mesh generator)의 확장된 블록도,
도 4는 본 발명의 일 실시예에 따라, 이미지에 대한 이미지 현출성 맵(image saliency map)으로부터 이미지 현출성에 대한 변형된 메시 표현을 생성하는 방법의 흐름도,
도 5는 본 발명의 실시예에 따라 현출성의 변형된 메시 표현으로 변환될 예시적인 이미지를 나타내는 도면,
도 6은 본 발명의 다양한 실시예에 따라 입력으로서 이용되는 이미지의 예시적인 현출성 맵을 나타내는 도면,
도 7은 본 발명의 일 실시예에 따른, 예시적인 이미지 현출성 맵 상에 중첩된 이미지 현출성의 변형된 메시 표현을 나타내는 도면,
도 8은 본 발명의 일 실시예에 따른, 예시적인 이미지 현출성 맵 상에 중첩된 이미지 현출성의 변형된 메시 표현을 나타내는 도면,
도 9는 본 발명의 일 실시예에 따른 이미지 현출성의 예시적인 변형된 메시 표현을 나타내는 도면,
도 10은 본 발명의 일 실시예에 따른 팬 방향 결정기(pan direction determiner)의 확장된 블록도를 나타내는 도면,
도 11은 본 발명의 일 실시예에 따라, 지배 라인에 대해 이미지를 평가하는 방법의 흐름도,
도 12는 본 발명의 일 실시예에 따라, 고른 평균 현출성을 갖는 이미지의 예시적인 변형되지 않은 메시 표현을 나타내는 도면,
도 13은 본 발명의 실시예에 따라, 수평 지배 라인을 갖는 이미지를 나타내는 도면,
도 14는 본 발명의 실시예에 따라, 사선의 지배 라인을 갖는 이미지를 나타내는 도면,
도 15는 본 발명의 실시예에 따라, 무시가능한 지배 라인을 갖는 이미지를 나타내는 도면,
도 16은 본 발명의 실시예에 따라, 프리젠테이션 내에서 이미지 이동을 결정하는 방법에 대한 흐름도,
도 17은 본 발명의 실시예에 따라 지배 라인 정보를 평가하는 예시적인 기법을 나타내는 도면.
본 명세서에서 언급되는 도면은 달리 구체적으로 언급하지 않는다면 실제 크기대로 도시되어 있는 것으로 해석되어서는 안된다.
이제 본 발명의 실시예들을 자세히 살펴볼 것이며, 그 예는 첨부한 도면에 예시되어 있다. 본 발명은 다양한 실시예와 연계하여 기술되어 있지만, 본 발명이 이들 실시예에 국한되는 것은 아니다. 오히려, 본 발명은 첨부한 청구항에 의해 규정되는 다양한 실시예의 사상 및 범주 내에 포함될 수 있는 대안들, 변형들 및 균등물들 커버하려 한다. 더 나아가, 후속하는 상세한 설명에서, 본 발명의 완전한 이해를 돕기 위해 다수의 특정 세부사항들이 기술되어 있다. 그러나, 본 발명은 이들 특정 세부사항 없이도 실시될 수 있다. 또 다른 예로, 잘 알려진 방법, 절차, 구성요소 및 회로들은 본 발명의 측면들을 불필요하게 모호하게 하는 것을 막기 위해 구체적으로 기술되어 있지 않다.
후속하는 설명으로부터 명확한 바와 같이 특별히 달리 언급하지 않더라도, " 수신하는", "결정하는", "이용하는", "평가하는", "특정하는", "위치하는" 등과 같은 용어를 사용하는 설명은 컴퓨터 시스템(예를 들어, 도 1의 컴퓨터(100)), 또는 유사한 전자 컴퓨팅 장치의 동작 및 프로세스를 나타냄을 알 수 있다. 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 장치는 컴퓨터 시스템의 레지스터 및 메모리 내의 물리적 (전자적) 양으로서 표현되는 데이터를, 컴퓨터 시스템 메모리 또는 레지스터 또는 그와 같은 다른 정보 저장, 전송 또는 디스플레이 장치 내에서 물리적 양으로서 유사하게 표현되는 다른 데이터로 조작 및 변환한다. 본 발명은 예를 들어 광학, 가상 및 기계 컴퓨터와 같은 다른 컴퓨터 시스템의 사용에도 매우 적합하다. 또한, 본 발명의 실시예에서, 단계들 중 하나 이상은 수동으로 수행될 수 있음을 이해해야 한다.
개요
이미지 지배 라인은 Bruce Block가 그의 저서, The Visual Story, copyright 2001에서 기술한 예술적인 개념이다. 지배 라인의 본질은 이미지의 시각적 흐름이다. 모든 이미지가 지배 라인 또는 강한 지배 라인을 갖는 것은 아니다. 그러나, 몇몇 이미지에서, 이미지 콘텐츠는 시각적 흐름, 즉 이미지에 대한 특정 축의 지배 라인을 생성한다. Brue Block은 이미지 이동에 대한 지배 라인의 적절한 사용은 관측자에게 감동을 일으킬 수 있다고 가정한다. 예를 들어, 이미지의 X-축을 가로지르는 수평 지배 라인을 나타내는 풍경 이미지를 가정한다. Bruce Block에 따르면, 이 수평 라인을 따른 패닝은 관측자에게 평화로운 느낌을 일으키지만, 이 지배 라인에 대한 반대 방향의 패닝(업 및 다운)은 사용자에게 불쾌한 느낌을 일으킬 수 있다. 마찬가지로, Bruce Block는 이미지 내에서 지배 라인의 축은 사용자가 이미지를 볼 때 겪는 잠재의식의 감정에 대해 소정의 제어를 갖는다는 것을 나타낸다. 예를 들어, 수평 지배 라인을 갖는 이미지는 느긋한 느낌을 생성하고, 사선의 지배 라인을 갖는 이미지는 열렬한 또는 강렬한 느낌을 생성하며, 수직의 지배 라인을 갖는 이미지는 그 중간의 느낌을 생성한다.
영화제작자, 사진작가 및 그 밖의 다른 예술가는 이미지 내에서 (그들의 육안을 통해) 지배 라인을 식별하고 이들을 이용하여 그들의 이미지의 관찰자가 겪는 느낌을 제어한다. 본 발명은 이미지 프리젠테이션을 제작하는 경우 지배 라인의 자동화된 검출 및 그 사용을 위한 방법 및 시스템을 제공한다. 이 상세한 설명과 관련하여, 본 발명의 실시예가 동작할 수 있는 예시적인 컴퓨터 시스템이 설명될 것이다. 그런 다음 본 발명에 따른 이미지 패닝 시스템이 설명될 것이다. 이 설명은 이 시스템의 개요로 시작하여 이미지 패닝 시스템의 개별 구성요소, 예를 들어 변형된 메시 생성기(warped mesh generator) 및 팬 방향 결정기(pan direction determiner)의 구조 및 동작을 설명할 것이다. 본 명세서에서 예시되는 있는 예와 연계하여 다양한 라인 도면들이 사용되고 있지만, 이들 라인 도면(즉, 도면 5, 13, 14 및 15)은 본 명세서에서 기술하고 있는 기술들이 동작하려 하는 예시적인 디지털 이미지 및/또는 사진을 나타냄을 이해해야 한다.
예시적인 컴퓨터 시스템 환경
이제 도 1을 참조하면, 본 발명의 일부분은 예를 들어 컴퓨터 시스템의 컴퓨터 사용가능 매체 내에 상주하는 컴퓨터 판독가능 및 컴퓨터 실행가능 인스트럭션으로 구성된다. 즉, 도 1은 이하에서 기술되는 본 발명의 실시예를 구현하는데 사용될 수 있는 컴퓨터 유형의 일 예를 나타낸다. 도 1은 본 발명의 실시예에 따라 사용되는 예시적인 컴퓨터 시스템(100)을 나타낸다. 도 1의 시스템(100)은 단지 예시적일 뿐이고 본 발명은 범용 네트워크형 컴퓨터 시스템, 내장형 컴퓨터 시스템, 라우터, 스위치, 서버 장치, 클라이언트 장치, 다양한 중간 장치/노드, 독립형 컴퓨터 시스템, 멀티 미디어 장치, 이미지 디스플레이 장치, 디지털 카메라, 휴대용 전자 장치 등을 포함한 다수의 상이한 컴퓨터 시스템 상에서 또는 그 내에서 동작할 수 있음을 이해해야 한다. 도 1에 도시되어 있는 바와 같이, 도 1의 컴퓨터 시스템(100)은 예를 들어, 플로피 디스크, 컴팩트 디스크, 디지털 다용도 디스크 및 그에 결합되는 것과 같은 주변 컴퓨터 판독가능 매체(102)를 구비하는 것으로 구성된다.
도 1의 시스템(100)은 정보를 통신하는 어드레스/데이터 버스(104)와, 버스(104)에 결합되어 정보 및 인스트럭션을 처리하는 프로세서(106A)를 포함한다. 도 1에 도시되어 있는 바와 같이, 시스템(100)은 다수의 프로세서(106A,106B,106C)가 존재하는 멀티-프로세서 환경에도 매우 적합하다. 역으로, 시스템(100)은 또한 예를 들어 프로세서(106A)와 같은 단일 프로세서를 구비하는 것에도 매우 적합하다. 프로세서(106A, 106B, 106C)는 다양한 유형의 마이크로프세서들 중 임의의 것 일 수 있다. 시스템(100)은 또한 버스(104)에 결합되어 프로세서(106A, 106B, 106C)에 대한 정보 및 인스트럭션을 저장하는 컴퓨터 사용가능 휘발성 메모리(108), 예를 들어 랜덤 액세스 메모리(RAM)와 같은 데이터 저장 특징부를 포함한다. 시스템(100)은 또한 버스(104)에 결합되어 프로세서(106A, 106B, 106C)에 대한 정적 정보 및 인스트럭션을 저장하는 컴퓨터 사용가능 비휘발성 메모리(110), 예를 들어 판독 전용 메모리(ROM)를 포함한다. 또한, 버스(104)에 결합되어 정보 및 인스트럭션을 저장하는 데이터 저장 유닛(112)(예를 들어, 자기 또는 광학 디스크 및 디스크 드라이브)이 시스템(100)에 제공된다. 시스템(100)은 또한 버스(104)에 결합되어 정보 및 명령 선택을 프로세서(106A) 또는 프로세서(106A, 106B, 106C)에 통신하는 문자숫자식 및 기능 키를 포함하는 선택적 문자숫자식 입력 장치(114)를 포함한다. 시스템(100)은 또한 버스(104)에 결합되어 사용자 입력 정보 및 명령 선택을 프로세서((106A) 또는 프로세서(106A, 106B, 106C)에 통신하는 선택적 커서 제어 장치(116)를 포함한다. 본 실시예의 시스템(100)은 또한 버스(104)에 결합되어 정보를 디스플레이하는 선택적 디스플레이 장치(118)를 포함한다.
도 1을 참조하면, 선택적 디스플레이 장치(118)는 액정 장치, 음극선관, 플라즈마 디스플레이 장치 또는 사용자가 인식가능한 그래픽 이미지 및 문자숫자식의 기호를 생성하는데 적합한 그 밖의 다른 디스플레이 장치일 수 있다. 선택적 커서 제어 장치(116)는 컴퓨터 사용자가 시각적 심볼(커서)의 이동을 디스플레이 장치(118)의 디스플레이 스크린 상에 동적으로 알릴 수 있도록 해준다. 커서 제어 장치(116)의 다수의 구현은 당업계에 알려져 있으며, 주어진 방향의 이동 또는 변위의 방식을 알릴 수 있는 트랙볼, 마우스, 터치 패드, 조이스틱 또는 문자숫자식의 입력 장치(114)를 포함한다. 이와 달리, 커서는 특정 키 및 키 시퀀스 명령을 사용하는 문자숫자식의 입력 장치(114)로부터의 입력을 통해 방향지정 및/또는 활성화될 수 있음을 알 것이다. 시스템(100)은 입력(예를 들어, 문자숫자식 입력)을 수신하는 것 및/또는 예를 들어 음성과 같은 다른 수단에 의해 방향지정되는 커서를 구비하는 것에도 꽤 적합하다. 또한, 일부 실시예에서, 문자숫자식 입력(114)은 간지 문자와 같은 알파벳 언어가 아닌 문자를 입력하도록 구성된다. 시스템(100)은 또한 시스템(100)을 외부 실체와 결합하는 I/O 디바이스(120)를 포함한다. 예를 들어, 일 실시예에서, I/O 장치(120)는 시스템(100)과 예를 들어 인터넷과 같은 외부 네트워크 사이에서 유선 또는 무선 통신을 가능하게 하는 모뎀이다.
도 1을 참조하면, 시스템(100)에 대한 다양한 다른 구성요소들이 도시되어 있다. 구체적으로, 존재하는 경우, 운영 시스템(122), 애플리케이션(124), 모듈(126) 및 데이터(128)는 전형적으로 랜덤 액세스 메모리(RAM)와 같은 컴퓨터 사용가능 휘발성 메모리(108) 및 데이터 저장 유닛(112) 중 하나 또는 이들 중 일부 조합에 상주하는 것으로 도시되어 있다. 일 실시예에서, 본 발명은 예를 들어 RAM(108)의 메모리 위치 및/또는 데이터 저장 유닛(112)의 메모리 영역 내에서 애플리케이션(124) 또는 모듈(126)로서 저장된다.
이미지 프리젠테이션을 생성하는 예시적인 시스템
이제 도 2를 참조하면, 본 발명의 일 실시예에 따른 이미지 패닝 시스템(200)의 블록도가 도시되어 있다. 이하의 설명은 시스템(200)의 구조에 대한 개략적인 설명으로 시작할 것이다. 설명은 변형된 메시 생성기(220)의 구조 및 동작에 대한 상세한 설명으로 이어질 것이다. 설명은 팬 방향 결정기(260)의 구조 및 동작에 대한 설명으로 종결될 것이다.
본 발명의 이미지 패닝 시스템의 구조
도 2에 도시되어 있는 바와 같이, 이미지 패닝 시스템(200)은 변형된 메시 생성기(220) 및 팬 방향 결정기(260)로 구성된다. 변형된 메시 생성기(220)는 이미지에 대한 이미지 현출성 데이터(image saliency data)의 현출성의 변형된 메시 표현을 생성한다. 변형된 메시 생성기(220)는 이미지 현출성 데이터를 입력으로서 수신하고 이 이미지 현출성 데이터로부터 유도된 변형된 메시 데이터를 출력한다. 일 실시예에서, 이 변형된 메시 데이터는 예를 들어 커플링(225)을 통해 팬 방향 결정기(260)에 결합된다. 팬 방향 결정기(260)는 변형된 메시 생성기(220)로부터의 정보에 기초하여 이미지의 이동의 방향 및/또는 속도를 결정한다. 이미지 패닝 시스템(200)이 변형된 메시 생성기를 포함하지 않는 일 실시예에서, 변형된 메시 정보는 이미지 패닝 시스템(200) 내에서 생성되는 대신 입력으로서 수신된다. 팬 방향 결정기(260)는 또한 팬 방향 결정을 프리젠테이션 생성기(270)와 같은 보다 큰 이미지 처리 시스템의 다른 부분에 출력하는 출력부(265)를 갖는다. 예를 들 어, 프리젠테이션 생성기(270)는 이미지에 대한 이미지 데이터를 수신하고 또한 팬 방향 결정기(260)로부터 팬 결정 정보를 수신한다. 이들 입력에 기초하여, 프리젠테이션 생성기(270)는 출력인 슬라이드쇼 타입 프리젠테이션과 같은 프리젠테이션을 자동으로 구성한다. 프리젠테이션 생성기(270)는 팬 방향 결정을 사용하여 이미지 패닝 시스템(200)에 의해 수행된 이미지 콘텐츠 분석에 기초한 이동/패닝의 이미지 방향 및/또는 속도와 같은 지능적인 프리젠테이션 애니메이션을 자동으로 포함한다.
도 2에 도시되어 있는 바와 같이, 변형된 메시 생성기(220)는 이미지 현출성의 변형된 메시지 표현으로 변환될 현출성 정보를 수신한다. 일 실시예에서, 현출성 정보는 현출성 맵의 형태로 수신될 수 있다. 변형된 메시지 생성기(220)는 변형된 메시를 기술하는 위치 데이터와 같은 이미지 현출성에 대한 변형된 메시 정보를 출력하는 출력부(225)를 갖는다. 변형된 메시 생성기(220)는 팬 방향 결정기(260)에 결합되어 변형된 메시를 기술하는 위치 정보와 같은 이미지 현출성의 변형된 메시 표현에 관한 정보를 제공한다.
도 2에 도시되어 있는 바와 같이, 팬 방향 결정기(260)는 변형된 메시 생성기(220)에 결합되어 이미지 현출성의 변형된 메시 표현에 대한 정보를 수신한다. 팬 방향 결정기(260)는 프리젠테이션 생성기(270)와 같은 보다 큰 이미지 처리 시스템의 다른 부분에 팬 방향 결정을 출력하는 출력부(265)를 갖는다. 팬 방향 결정기(260)에 결합함으로써, 프리젠테이션 생성기(270)는 예를 들어 슬라이드쇼 타입 프리젠테이션으로 제공되는 이미지 또는 이미지들의 콘텐츠를 보완하는 방식으 로 이미지의 지능적인 패닝 및 이동을 참작하는 정보를 수신한다. 이것은 이미지 이동 및/또는 팬 방향을 무작위로 또는 이미지의 콘텐츠를 고려하지 않은 채 선택하는 시스템에 대한 개선점이다.
변형된 메시 생성기의 구조
도 3은 본 발명의 일 실시예에 따른 예시적인 변형된 메시 생성기(220)의 블록도이다. 도 3에 도시되어 있는 실시예에서, 변형된 메시 생성기(220)는 현출성 합산기(saliency summer)(310), 영역 분할기(region divider)(320), 메시 규정기(mesh definer)(330) 및 선택사항인 메시 위치 메모리(340)로 구성된다. 변형된 메시 생성기(220)의 다른 실시예는 선택에 따라서는 작업들을 동시에 수행하기 위해 다수의 현출성 합산기 및 다수의 영역 분할기로 구성된다.
도 3에서, 현출성 합산기(310)는 예를 들어 이미지 현출성 생성기, 이미지 현출성 수신기 또는 사용자 입력과 같은 외부 소스로부터 이미지의 현출성에 대한 이미지 현출성 데이터를 입력으로서 수신한다. 본 발명의 일 실시예에서, 이미지 현출성 데이터는 이미지의 현출성 맵의 형태로 수신된다. 현출성 합산기(310)는 이미지 현출성 데이터의 합산을 수행한다. 현출성 합산기(310)는 또한 영역 분할기(320)와 결합되고 이미지 현출성 데이터에 대해 수행되는 합산의 시작 및 종료 지점에 대해 영역 분할기(320)로부터 인스트럭션을 수신한다. 현출성 합산기(310)는 현출성 데이터 합산 결과를 상기 결합을 통해 영역 분할기(320)에 제공한다.
도 3에서, 영역 분할기(320)는 현출성 합산기(310) 및 메시 규정기(330)에 결합된다. 영역 분할기(320)는 현출성 합산기(310)에 의해 수행된 합산에 응답하여 현출성 맵을 영역으로 분할한다. 본 발명의 일 실시예에서, 영역 분할기(320)에는 이미지에 대한 현출성 데이터가 분할되는 영역의 개수 및 타입을 규정하는 사전설정된 데이터가 로딩된다. 본 발명의 일 실시예에서, 영역 분할기(320)에는 각각의 영역 내에 배치될 이미지의 전체 현출성의 백분율을 규정하는 사전결정된 정보가 로딩된다. 영역 분할기(320)는 이 정보를 필요에 따라 제공하여 현출성 합산기(310)의 동작을 제어하고 또한 각 이미지에 대한 이미지 현출성 데이터를 적절한 수 및 타입의 영역으로 분할하되, 각각의 영역은 이미지에 대해 사전규정된 양의 전체 이미지 현출성을 포함한다. 본 발명의 일 실시예에서, 영역 분할기(320)는 또한 사용자 정의 입력과 같은 정보를 제공하여 영역 개수, 영역 타입 및 각 개별 영역 내에 포함된 전체 현출성의 백분율에 대한 사전결정값을 변경 또는 변화시키는 외부 소스와 결합된다. 영역 분할기(320)는 또한 이미지 현출성 데이터가 분할되는 영역의 위치에 대한 정보를 제공하는 메시 규정기(330)에 결합된다.
메시 규정기(330)는 영역 분할기(320)에 결합되고 이미지에 대한 현출성 데이터가 분할되는 영역의 위치에 관련한 정보를 수신한다. 메시 규정기(330)는 영역에 대한 위치 정보를 이용하여 이미지 현출성 맵의 현출성의 변형된 메시 표현을 정의한다. 본 발명의 일 실시예에서, 메시 규정기(330)는 한 세트의 영역 내에서 각각의 개별 영역을 다른 영역과 분리하는 영역을 지정한다. 이들 분리 영역은 구체적으로는 접경 라인 분리자(border line separators) 또는 경계 라인 분리자(boundary line separators)로서 지칭될 수 있고, 일반적으로는 분리자로서 지칭 될 수 있다. 일 실시예에서, 변형된 메시 표현을 규정하는 위치 정보가 저장된다. 본 발명의 일 실시예에서, 이미지 현출성의 변형된 메시 표현을 규정하는 위치 정보는 출력부(225)와 같은 변형된 메시 생성기(220)의 출력에 제공된다. 일 실시예에서, 예를 들어 이미지 현출성의 변형된 메시 표현을 규정하는 위치 정보는 커플링(225)을 통해 팬 방향 결정기(260)에 제공된다.
본 발명의 일 실시예에서, 메시 규정기(330)는 선택사항인 메시 위치 메모리(340)에 결합된다. 메시 위치 메모리(340)는 경계 라인 분리자, 접경 라인 분리자, 또는 변형된 메시의 개별 영역 간의 영역 분리자에 대한 위치 정보와 같은 변형된 메시를 규정하는 위치 정보의 저장을 제공한다.
본 변형된 메시 생성기의 동작
이하의 설명에서는 본 발명과 연계하여 사용되는 변형된 메시 생성기의 실시예의 동작을 자세히 설명한다. 객체를 인식하고 이미지의 현출 (또는 관심) 부분을 결정하는 기법은 알려져 있고 또한 예를 들어 "A model of Saliency-Based Visual Attention for Rapid Scene Analysis, Laurent ltti, Christof Koch, and Ernst Niebur, IEEE Transactions on Pattern Analysis and Machine Intelligence, November 1998; and Robust Real Time Object Detection, Paul Viola and Michael Jones, Second Internatioanl Workship on Statistical and Computational Theories of Vison-Modeling, Learning, Computing, and Sampling, July 13, 2001"와 같은 문헌에 기술되어 있다. 또한, Robust Real-Time Object Detection은 이미 지 내에서 현출성을 수평 및 수직으로 합산하는 기법을 기술한다.
도 3의 블록도에 도시되어 있는 바와 같이, 이미지 현출성 합산기(310)는 이미지 내의 중요한 또는 관심 있는 부분을 식별하는 이미지 현출성 데이터를 수신한다. 이미지에 대한 이미지 현출성 데이터는 현출성 맵, 안면 인식 정보 및 그 밖의 다른 이미지 분석 정보와 같은 정보를 포함한다. 이미지 현출성 합산기(310)는 잘 알려져 있고 확립되어 있는 이미지 처리 기법, 예를 들어 현출성을 결정하고 얼굴과 같은 객체를 인식하는 기법에 기초하여 생성되는 현출성 데이터를 수신한다. 몇몇 실시예에서, 수신되는 이미지 현출성 정보는 또한 현출성 데이터의 생성에 포함되는 사용자 지정 파라미터 또는 제약에 기초하여 생성된다. 이미지에 대한 이미지 현출성 데이터는 이미지의 현출 영역의 랭킹 또는 매핑과 같은 형태로 수신된다. 예를 들어, 본 발명의 몇몇 실시예에서, 이미지 현출성 데이터는 그레이스케일 이미지 또는 매핑으로서 수신되는데, 각 픽셀의 값은 그 픽셀에 대한 현출성 점수이다. 본 발명의 다른 실시예에서, 이미지 현출성 데이터는 서브-섹션으로 분할되는 맵의 형태로 전달되고, 각각의 서브-섹션은 그의 관련 현출성을 나타내는 점수를 포함한다.
이제 도 4를 참조하면, 도 4의 흐름도(400)는 도 3과 도 5 내지 도 9와 연계하여 설명되어 본 발명의 실시예의 동작을 설명할 것이다. 본 설명을 위해, 픽셀들로 구성된 그레이-스케일 이미지의 형태로 현출성 맵을 수신하는 변형된 메시 생성기(220)의 실시예의 동작을 설명할 것이다. 동일한 동작 방법은 수신되는 임의의 형태의 현출성 맵에 일반적으로 적용된다는 것을 인지해야 한다.
도 4는 본 발명의 일 실시예에 따라 이미지의 이미지 현출성 맵으로부터 이미지 현출성의 변형된 메시 표현을 생성하는 방법의 흐름도(400)이다. 이미지는 정지된 이미지일 수 있거나, 또는 일부 실시예에서는 움직이는 이미지(예를 들어, 비디오)일 수 있다. 비록 흐름도(400)에는 특정 단계들이 기술되어 있지만, 이러한 단계들은 예시적인 것이다. 즉, 본 발명의 실시예는 다양한 다른 (부가적인) 단계 또는 흐름도(400)에 기재되어 있는 단계들의 변형을 수행하는데 매우 적합하다. 흐름도(400) 내의 단계들은 기재되어 있는 순서와는 다른 순서로 수행될 수 있고, 흐름도(400) 내의 모든 단계들이 수행될 수 있는 것은 아니라는 것을 이해해야 한다. 본 발명의 일 실시예에서, 흐름도(400)는 컴퓨터 시스템(예를 들어, 도 1의 컴퓨터 시스템(100))의 메모리 유닛에 저장되고 프로세서(예를 들어, 도 1의 프로세서(106A))에 의해 수행되는 컴퓨터 판독가능 프로그램 코드로서 구현된다.
도 5는 본 발명의 실시예에 따라 현출성의 변형된 메시 표현으로 변환될 예시적인 이미지(500)를 나타낸다. 이미지(500)의 가장 현출하는 부분은 여자(501) 및 그녀가 앞에 서 있는 나무(502)이다. 이미지(500)의 좌측은 또한 나무 및 가지의 형태로 몇몇 현출 특징부를 포함한다. 이미지의 오른쪽 1/4는 현출 특징부가 거의 없다. 점선(505)은 이미지(500)의 시각적 식별가능 지배 라인이 y-축을 따라 수직으로 배향됨을 나타낸다. 지배 라인(505)은 나무(502)의 줄기와 여자(501)의 수직 프로파일과 일치한다. 알 수 있는 바와 같이, 본 발명은 방향과, 일부 실시예에서는 지배 라인(505)과 같은 이미지 지배 라인의 강도를 자동으로 결정하는 것을 고려한다.
도 6은 이미지(500)의 예시적인 그레이-스케일 현출성 맵(600)을 나타낸다. 이미지(500)의 가장 현출하는 영역(여자(501) 및 나무(502))은 이미지 현출성 맵(600)에서 보다 밟은 영역으로서 표현된다. 그레이-스케일 이미지의 보다 어두운 영역은 이미지(500)의 보다 덜 현출하는 영역을 나타낸다. 예시적인 이미지 현출성 맵(600)은 이하의 설명에서 변형된 메시 생성기(220)에 대한 입력으로서 이용된다.
본 발명의 일 실시예의 도 4의 단계(410)에서, 현출성 맵 내에서 픽셀의 영역의 현출성 값은 현출성 맵에 대해 정의된 방향으로 합산된다. 본 발명의 일 실시예에서, 현출성 합산기(310)는 현출성 데이터를 이미지(500)의 현출성 맵(600)의 형태로 수신한다. 현출성 맵 내에 포함된 전체 현출성의 값이 제공되지 않는 경우, 현출성 합산기(310)는 그것을 계산한다. 현출성 합산기(310)는 영역 분할기(320)와 연계하여 동작하여 현출성 맵 내에 있는 픽셀의 영역의 현출성 값을 합산한다. 픽셀의 영역 합산은 현출성 맵(600)에 대해 규정된 수평, 수직 또는 사선 방향으로 수행된다. 합산의 시작 및 정지 지점과 방향은 사전설정된값에 의해 또는 영역 분할기(320)와의 상호작용을 통해 제어된다.
합산은 규정된 단일 방향으로 한번 수행될 수 있거나 또는 다수의 정의된 방향으로 여러 번 수행될 수 있다. 예를 들어, 제 1 합산은 이미지 현출성 맵(600)의 우측 상단에서 좌측 하단으로, 이미지 현출성 맵(600)의 좌측 하단에서 우측 상단으로 사선으로 이루어지고, 또한 이미지 현출성 맵(600)의 좌측에서 우측으로, 이미지 현출성 맵(600)의 상단에서 하단으로, 등과 같이 이루어진다. 예를 들어, 본 발명의 일 실시예에서, 수평 합산은 이미지 현출성 맵(600)의 우측에서 시작하고, 픽셀의 전체 컬럼이 합산된다. 현출성 합산기(310)는 수평을 따라 왼쪽 방향으로 픽셀의 다음 컬럼으로 이동하여 그것을 합산하고, 그것을 제 1 컬럼의 픽셀의 합에 더한다. 합산은 이러한 방식으로 이미지 현출성 맵(600)을 수평으로 가로질러 왼쪽 방향으로 계속된다. 임시 합계(running summation total)는 유지되고, 합산은 임시 합계가 예를 들어 사전결정된 값에 지정되거나 또는 영역 분할기(320)에 의해 지정되는, 이미지 현출성 맵의 전체 현출성의 소정의 백분율과 같은 소정의 레벨에 도달하는 경우 중단된다. 임시 합계는 리셋되고 합산은 픽셀의 모든 컬럼이 합산될 때까지 유사한 방식으로 이미지 현출성 맵(600)을 가로질러 수평으로 계속된다. 합산의 결과는 영역 분할기(320)로 전달된다.
다수의 합산 전달이 수행되는 본 발명의 일 실시예에서, 추가적인 합산이 다른 방향 또는 방향들로 수행된다. 예를 들어, 제 2의 합산이 이미지 현출성 맵(600)의 상단에서 하단으로 또는 하단에서 상단으로 수직으로 발생한다. 예를 들어, 본 발명의 일 실시예에서, 수직 합산은 이미지 현출성 맵(600)의 상단에서 시작하고, 픽셀의 전체 로우(row)는 합산된다. 현출성 합산기(310)는 수직을 따라 아래쪽 방향으로 픽셀의 다음 로우로 이동하여 그것을 합산하고, 그것을 제 1 로우의 픽셀의 합에 더한다. 합산은 이러한 방식으로 이미지 현출성 맵(600)에서 수직으로 아래쪽으로 계속된다. 임시 합계는 유지되고, 합산은 임시 합계가 예를 들어 사전결정된 값에 지정되거나 또는 영역 분할기(320)에 의해 지정되는, 이미지 현출성 맵의 전체 현출성의 소정의 백분율과 같은 소정의 레벨에 도달하는 경우 중단된 다. 임시 합계는 리셋되고 합산은 픽셀의 모든 로우가 합산될 때까지 유사한 방식으로 이미지 현출성 맵(600)에서 수직으로 아래쪽으로 계속된다. 합산의 결과는 영역 분할기(320)로 전달된다.
도 4의 단계(420)에서, 본 발명의 일 실시예에서, 현출성 맵은 합산에 응답하여 일 세트의 영역으로 분할된다. 영역의 크기는 각 영역에 포함된 전체 현출성의 백분율에 기초한다. 본 발명의 일 실시예에서, 영역 분할기(320)는 현출성 합산기(310)의 합산을 제어하여 이러한 영역 분할을 수행한다. 제어는 사전설정된 값 또는 사용자 지정 값에 기초한다. 예를 들어, 본 발명의 일 실시예에서, 영역 분할기(320)는 이미지 현출성 맵을 동일한 백분율의 일백 개의 수직 영역 세트로 분할하는 사전설정된값을 포함한다. 도 7에 예시되어 있는 본 발명의 또 다른 실시예에서, 영역 분할기(320)는 현출성 맵을 10개의 수평 영역의 세트와 10개의 수직 영역의 세트로 분할하는 사전설정된값을 포함하며, 각각의 수평 영역 및 각각의 수직 영역은 이미지 현출성 맵의 전체 현출성의 10 퍼센트를 포함한다. 유사하게, 도 8에 도시되어 있는 일 실시예에서, 영역 분할기(320)는 현출성 맵을, 좌측 상단에서 우측 하단으로의 10개의 사선 영역- 각각의 영역은 이미지 현출성 맵의 전체 현출성의 10 퍼센트를 포함함 -과 좌측 하단에서 우측 상단으로의 10개의 사선 영역- 각각의 영역은 이미지 현출성 맵의 전체 현출성의 10 퍼센트를 포함함 -의 세트로 분할하는 사전설정된값을 포함한다. 이와 같은 다수의 사전설정된값이 존재할 수 있고 이미지 현출성 맵을 보다 많은 또는 보다 적은 영역으로 분할할 수 있고 또한 다양한 배향의 영역으로 분할할 수 있다. 이미지 현출성 맵을 보다 적은 영역으로 분할하면 보다 적은 시간 및 처리를 야기하지만, 현출성의 결과적인 변형된 메시 표현은 보다 덜 정확하다. 이미지 현출성 맵을 보다 많은 영역으로 분할하면 보다 많은 시간 및 처리를 야기하지만, 현출성의 결과적인 변형된 메시 표현은 보다 정확하다.
도 7은 본 발명의 일 실시예에 따라 10개의 수직 영역 및 10개의 수평 영역으로 분할된 이미지 현출성 맵(600)을 나타낸다. 도 7에서, 수평 합산이 수행되었고 이미지 현출성 맵(600)은 10개의 수직 영역으로 분할되었는데, 각각의 수직 영역은 이미지 현출성 맵(600)의 전체 현출성의 10 퍼센트를 포함한다. 각각의 수직 영역 간의 경계 라인 분리자는 검은 수직 라인(701,702,703,704,705,706,707,708,709)으로 표현되고 이미지 현출성 맵(600) 상에 포개져 수직 영역을 시각적으로 규정한다. 경계 라인 분리자는 설명을 위해 시각적으로 표현되어 있어 있으나, 이들 분리자는 물리적 크기를 가지지 않으며 선택된 원점으로부터의 좌표 거리로 표현됨을 이해해야 한다. 도 7에서 각 영역이 차지하는 실제 공간 영역은 균일하지 않다. 이러한 이유는 현출성의 영역이 이미지(500)에 전체에 걸쳐 변하고 그에 따라 전체 이미지 현출성 맵(600)에 걸쳐 변하기 때문이다. 이것은, 규칙적으로 이격되지는 않으나, 전체 이미지 현출성의 사전규정된 백분율을 포함하면서 상이한 물리적 영역을 포함하는 각각의 개별 영역을 갖는 변형된 메시를 형성하는 영역 사이에 경계 라인 분리자를 야기한다.
도 7은 본 발명의 일 실시예에 따라 10개의 수평 영역으로 분할된 미니지 현출성 맵(600)을 나타낸다. 앞서 설명한 수평 합산 외에, 수직 합산이 또한 수행된 다. 수직 합산의 결과로서, 이미지 현출성 맵(600)은 10개의 수평 영역으로 분할되는데, 각각의 수평 영역은 이미지 현출성 맵(600)의 전체 현출성의 10 퍼센트를 포함한다. 수직 합산으로부터 야기된 각각의 수평 영역 간의 경계 라인 분리자는 검은 수평 라인(711,712,713,714,715,716,717,718,719)으로 표현되고 이미지 현출성 맵(600) 상에 포개져 영역을 시각적으로 규정한다. 경계 라인 분리자는 설명을 위해 시각적으로 표현되어 있어 있으나, 이들 분리자는 물리적 크기를 가지지 않으며 선택된 원점으로부터의 좌표 거리로 표현됨을 이해해야 한다. 수평 합산 및 수직 합산의 결과로서, 도 7은 일백 개의 서브 영역으로 구성된 변형된 메시와 중첩된 이미지 현출성 맵(600)을 도시하는데, 각각의 서브 영역은 이미지 현출성 맵(600)의 전체 현출성의 1 퍼센트를 반드시 포함할 필요는 없다.
도 8은 본 발명의 일 실시예에 따라 예시적인 이미지 현출성 맵 상에 중첩된 이미지 현출성의 또 다른 변형된 메시 표현을 나타낸다. 그러나, 도 8에서는, 이미지 현출성 맵(600)의 픽셀들을 수평 및 수직 방향으로 합산하기 보다, 픽셀은 직교하는 사선 방향으로 합산된다. 영역 분리자(801,802,803,804,805,806,807,808,809)는 수평선에 대해 대략 45도로 배향되고 현출성 맵(600)의 좌측 상단에서 우측 하단으로 진행한다. 영역 분리자(801-809)는 현출성 맵(600)을 대략 등가의 현출성을 갖는 10개의 사선 영역의 세트로 분할한다. 영역 분리자(811, 812, 813, 814, 815, 816, 817, 818, 819)는 영역 분리자(801-809)에 대해 대략 직교하도록 배향되고 현출성 맵(600)의 좌측 하단에서 우측 상단으로 진행한다. 영역 분리자(811-819)는 현출성 맵(600)을, 대략 등가의 현출성을 갖는 10개의 사선 영역의 또 다른 세트로 분할한다. 계속해서, 영역 분리자(801-809) 및 영역 분리자(811-819)는 일백 개의 서브 영역으로 구성된 변형된 메시로 현출성 맵(600)을 분할하는데, 각각의 서브 영역은 이미지 현출성 맵(600)의 전체 현출성의 1 퍼센트를 반드시 포함할 필요는 없다.
도 4의 단계(430)에서, 본 발명의 일 실시예에서, 영역의 세트에 대한 위치 정보가 사용되어 이미지 현출성 맵의 현출성의 변형된 메시 표현을 규정한다. 영역의 세트 또는 세트들에 대한 위치 정보는 영역 분할기(320)로부터 메시 규정기(330)로 전달된다. 메시 규정기(330)는 이 위치 정보를 사용하여 이미지 현출성 맵의 현출성을 나타내는 변형된 메시를 규정한다. 본 발명의 일 실시예에서, 이 위치 정보는 경계 라인 분리자, 접경 라인 분리자, 및 영역의 세트 또는 세트들 내의 영역 간의 영역 분리자를 표시한다.
도 7에 도시된 2차원 메시의 예시적인 실시예에 후속하여, 수직 영역 세트 내의 개별 수직 영역 간의 각 경계 라인 분리자(701-709)의 위치가 구해지고 그의 위치는 표시된다. 본 발명의 일 실시예에서, 각각의 개별 경계 라인 분리자의 위치는 지정된 원점으로부터 정의된 거리로서 표시된다. 예를 들어, 본 발명의 일 실시예에서, 지정된 원점은 우측 상단 코너에 존재하고, 경계 라인 분리자(701-709)는 각각 원점으로부터 그들의 픽셀 거리로 표시된다. 이러한 기법에 이어, 10개의 수직 영역은 원점으로부터 9개의 경계 라인 분리자의 거리를 나타내는 9개의 별개의 정수로 규정될 수 있다. 마찬가지로, 개별 수평 영역 간의 접경 라인 분리자가 구해지고 표시된다. 후속하는 예시적인 실시예에서, 10개의 수평 영역은 원 점으로부터 9개의 접경 라인 분리자(711-719)의 거리를 나타내는 9개의 별개의 정수로 규정될 수 있다. 본 발명의 기술된 실시예에서, 도 8에 도시되어 있으며 함께 일백 개의 서브 영역을 포함하는 10개의 수직 영역의 세트와 10개의 수평 영역 세트는 18개의 정수로 표현된다. 이것은 이미지 현출성 맵(600)의 실제 이미지 현출성 데이터를 저장하는 크기에 비해 실질적인 메모리 절약을 나타낸다.
도 9는 본 발명의 일 실시예에 따른 이미지 현출성의 변형된 메시 표현(900)을 나타낸다. 도 7에 제공된 이미지 현출성 맵(600)은 제거되고, 남아 있는 것은 모두 수직 경계 라인 분리자(701-709) 및 수평 접경 라인 분리자(711-71)이다. 수직 경계 라인 분리자(701-709)는 예시적인 1차원 변형된 메시를 나타낸다. 수평 접경 라인 분리자(711-719)는 또 다른 예시적인 1차원 변형된 메시를 나타낸다. 공동으로, 분리자(701-709) 및 분리자(711-719)는 예시적인 2차원 변형된 메시(900)를 포함한다. 유사하게, 2차원 사선 변형된 메시는 도 8의 영역 분리자(801-809) 및 영역 분리자(811-819)에 의해 규정될 수 있다.
도 9에서, 원점(901)은 변형된 메시(900)의 우측 상단 코너에 있는 것으로 도시되어 있지만, 다른 실시예에서, 원점은 임의의 곳, 예를 들어 좌측 상단 코너의 위치(902)에 규정될 수 있다. 분리자(704) 및 분리자(719)의 예시적인 교차부는 노드 교차부(nodal intersection)(903)로서 도시되어 있다. 앞서 나타낸 바와 같이, 변형된 메시(900)와 같은 변형된 메시에 대한 위치 정보는 18개의 정수로 표현될 수 있다. 일 실시예에서, 이들 정수는 규정된 원점으로부터의 픽셀 거리일 수 있다. 또 다른 실시예에서, 이들 정수는 규정된 원점으로부터 이미지를 가로지 르는 분수의 또는 백분율 거리를 나타낼 수 있으며, 이 거리는 정수로서 저장되는데, 예를 들어 0.102의 분수는 정수 102로서 저장될 수 있다. 여기서 (또한 임의의 곳에서) 예로서 변형된 메시 위치 정보의 정수 표현이 사용되고 있지만, 이러한 변형된 메시 위치 정보는 실수, 고정 소수점 수, 부동 소수점 수, 분수의 부동 소수점 동치(floating point equivalents), 이진 수 등을 포함하는 수에 대한 임의의 컴퓨터 표현으로 표현될 수 있다. 본 발명의 일 실시예에서, 변형된 메시(900)에 대한 위치 정보는 도 3의 선택사항인 메시 위치 메모리(340)와 같은 메모리에 저장될 수 있다. 본 발명의 일 실시예에서, 변형된 메시(900)에 대한 위치 정보는 변형된 메시 생성기(220)로부터의 출력으로서 공급된다.
도 4의 단계(440)에서, 본 발명의 일 실시예에서, 변형된 메시의 표현은 출력된다. 일 실시예에서, 도 2에 도시되어 있는 바와 같이, 변형된 메시 생성기(220)가 시스템(200)에 포함되는 경우, 변형된 메시(900)를 나타내는 정수 값과 같은 변형된 메시에 대한 위치 정보가 팬 방향 결정기(260)에 공급되고 따라서 이미지의 이동은 변형된 메시 정보에 기초하여 결정될 수 있다.
팬 방향 결정기의 구조
도 10은 본 발명의 일 실시예에 따른 팬 방향 결정기(260)의 확장된 블록도를 나타낸다. 도 10에 도시되어 있는 실시예에서, 팬 방향 결정기(260)는 변형된 메시 수신기(1010), 변위 분석기(1020), 지배 라인 결정기(1030), 선택사항인 사용자 제어(1040), 움직임 결정기(1050) 및 출력 커플링(265)으로 구성된다.
도 10에서, 변형된 메시 수신기(1010)는 이미지의 변형된 메시 표현을 입력으로서 수신한다. 일 실시예에서, 변형된 메시 수신기(1010)는 변형된 메시 정보를 규정하는 데이터를 수신한다. 예를 들어, 일 실시예에서, 변형된 메시 수신기(1010)는 변형된 메시(900)와 같은 2차원 변형된 메시를 입력으로서 수신한다. 일 실시예에서, 변형된 메시 수신기(1010)는 버퍼링 기능을 수행하고 변위 분석기(1020)에 결합되어 변형된 메시 위치 정보를 입력으로서 제공한다. 일 실시예에서, 변형된 메시 수신기(1010)는 또한 변환 기능을 수행하고 변형된 메시 정보를 요구되는 형태로 변위 분석기(1020)에 제공한다.
도 10에서, 변위 분석기(1020)는 수신된 변형된 메시 내의 성분의 변위를 분석한다. 일 실시예에서, 변위 분석기(1020)는 선택사항인 변형된 메시 수신기(1010)의 기능을 수행하여, 별도의 변형된 메시 수신기를 필요로 하지 않는다. 수신된 변형된 메시 성분의 변위는 동일한 현출성/면적의 영역을 규정하는 규칙적으로 이격된 영역 분리자를 갖는 유사하게 배향된 변형되지 않은 메시 내의 대응하는 구성요소 위치에 대하여 결정된다. 그런 다음, 이 변위는 통계적으로 분석된다. 예를 들어, 변형된 메시 내의 수직 분리자의 위치는 변형되지 않은 메시 내의 수직 분리자의 위치에 비교된다. 변위 분석기(1020)는 변위 결정 결과 및 변위의 통계적 분석을 지배 라인 결정기(1030)에 제공한다.
도 10에서, 지배 라인 결정기(1030)는 변위 분석기(1020)로부터 수신된 결과들을 비교함으로써 이미지 내에서 지배 라인의 위치를 알아낸다. 지배 라인이 존재하는 경우, 지배 라인 결정기(1030)는 비교에 기초하여 배향의 지배 라인 축을 결정한다. 예를 들어, 지배 라인 결정기(1030)는 수신된 수평 분리자 통계적 변위 정보를 수신된 수직 분리자 통계적 변위 정보와 소정의 비율로 비교하여 수평 또는 수직 지배 라인이 존재하는지를 결정한다. 마찬가지로, 지배 라인 결정기는 좌측 상단에서 우측 하단으로의 사선 분리자에 대한 통계적 변위 정보를 좌측 하단에서 우측 상단으로의 사선 분리자에 대한 통계적 변위 정보에 비교하여 사선으로 배향된 지배 라인이 존재하는지를 결정하고, 존재하는 경우, 그의 배향 축은 무엇인지를 결정한다. 따라서, 일 실시예에서, 지배 라인 결정기(1030)는 변형된 메시 데이터가 관련된 이미지 내에서 실질적으로 수평, 수직 또는 사선 축으로 배향된 지배 라인을 자동으로 알아내도록 구성된다. 이러한 비교에 기초하여, 지배 라인 결정기(1030)는 검출되는 임의의 지배 라인의 강도를 결정한다. 그런 다음 지배 라인 정보는 지배 라인 결정기(1030)로부터 이동 결정기(movement determiner)(1050)로 제공된다.
도 10에서, 이동 결정기(1050)는 지배 라인의 방향 및 강도를 분류하는데 사용된다. 지배 라인의 방향에 기초하여, 이동 결정기(1050)는 이미지가 프리젠테이션 내에 도시되는 경우 관찰 영역 내의 연관된 이미지의 이동 방향을 결정한다. 유사하게, 검출된 지배 라인의 강도에 기초하여, 이동 결정기(1050)는 프리젠테이션의 일부로서의 관찰 영역 내에 디스플레이되는 이미지의 이동 속도를 결정한다. 일 실시예에서, 분류는 예를 들어 소정의 수의 이미지는 수직으로 패닝/이동할 것이고, 소정의 수의 이미지는 수평으로 패닝/이동할 것이며, 소정의 수의 이미지는 수직으로 패닝/이동할 것이라는 것을 나타내는 사전설정된값 또는 사용자 입력에 기초한다. 이동 결정은 출력부(265)에 제공되고 프리젠테이션 생성기(270)와 같은 프리젠테이션 생성기에 대한 입력으로서 사용될 수 있다.
도 10에서, 선택적인 사용자 제어부(1040)는 이동 결정기(1050)와 결합된다. 일 실시예에서, 선택적인 사용자 제어부(1040)는 예를 들어 하드웨어 또는 소프트웨어를 통해 입력 메카니즘을 사용자에게 제공하여 이동 결정기(1050)에 의해 사용되는 임의의 사전설정된 또는 사전결정된 값을 변경함으로써 프리젠테이션 내에서의 이미지의 이동 방향 및 속도를 결정하는 경우 하나 이상의 지배 라인의 방향 및/또는 강도를 판단 또는 분류한다.
본 발명의 팬 방향 결정기의 동작
이제 도 11 및 도 16을 참조하여, 흐름도(100, 1600)가 본 발명의 실시예의 요소들의 동작을 기술하도록 설명된다. 설명을 위해, 입력으로서 2차원 수평/수직 변형된 메시(900)를 이용하고 선택에 따라서는 입력으로서 2차원 사선/사선 변형된 메시(도 8에 도시되어 있음)를 사용하는 본 발명의 실시예에 대한 상세한 동작 설명이 제공될 것이다. 본 발명의 사상 및 범주 내에서 그 밖의 다른 실시예 및 변형이 가능하다.
비록 흐름도(1100,1600)에는 특정 단계들이 기술되어 있지만, 이러한 단계들은 예시적인 것이다. 즉, 본 발명의 실시예는 다양한 다른 (부가적인) 단계 또는 흐름도(1100,1600)에 기재되어 있는 단계들의 변형을 수행하는데 매우 적합하다. 흐름도(1100,1600) 내의 단계들은 기재되어 있는 순서와는 다른 순서로 수행 될 수 있고, 흐름도(1100,1600) 내의 모든 단계들이 수행될 수 있는 것은 아니라는 것을 이해해야 한다. 본 발명의 일 실시예에서, 흐름도(1100) 및/또는 흐름도(1600)는 컴퓨터 시스템(100)(도 1)에 사용되는 메모리 유닛 또는 주변 컴퓨터 매체와 같은 컴퓨터 사용가능 매체 저장되고 프로세서(106A), 및/또는 프로세서(106A, 106B, 160C)(도 1)에 의해 수행되는 컴퓨터 판독가능 프로그램 코드로서 구현된다.
도 11은 본 발명의 실시예에 따라 지배 라인에 대한 이미지를 평가하는 방법의 흐름도(1100)를 나타낸다.
도 11의 단계(1105)에서, 본 발명의 일 실시예에서, 이미지의 변형된 메시 표현이 수신된다. 변형된 메시 수신기(1010)는 이미지의 이 변형된 메시 표현을 수신한다. 변형된 메시 표현은 메시 또는 그리드를 기술하는데 사용되는 위치 정보의 형태로 수신된다. 일 실시예에서, 변형된 메시 정보는 이미지의 2차원 메시 표현을 기술하는 위치 정보로서 수신된다. 수평/수직 변형된 메시(900) 및 도 8에 도시되어 있는 사선/사선 변형된 메시는 이러한 2차원 변형된 메시의 예이다. 2차원 변형된 메시에 대한 정보는 메시의 분리자에 대한 위치 정보의 형태로 수신될 수 있거나, 또는 2차원 메시의 교차 노드의 위치에 관한 정보로서 수신될 수 있다. 일 실시예에서, 변형된 메시 정보는 정수 값으로서 수신된다. 한편 또 다른 실시예에서, 변형된 메시 정보는 실수, 고정 소수점 수, 부동 소수점 수, 또는 그 밖의 다른 일부 컴퓨터화된 표현의 수로서 수신된다. 변형된 메시 수신기(1010)는 변형된 메시 정보를 버퍼링하고 그것을 필요로 하는 경우 변위 분석기(1020)에 제공한 다. 일 실시예에서, 변형된 메시 수신기(1010)는 또한 분리자 정보를 노드 교차부 정보로 변환하는 기능 또는 정수 정보를 소수(decimal) 정보로 변환하는 기능, 또는 일 유형의 컴퓨터화된 표현의 수치 값의 정보를 또 다른 유형의 컴퓨터화된 표현의 수치 값의 정보로 변환하는 기능(즉, 이진 정보를 부동 소수점 정보로 변환하는 기능)과 같은 변환 기능을 수행한다. 간단하고 용이한 설명을 위해, 본 명세서에서 나타낸 다수의 예에서 소수 및/또는 정수 값이 도시되고 설명되어 있지만, 이러한 값은 전형적으로 컴퓨터 내에서 일부 다른 수치적 형태로 표현된다.
예를 들어, 본 발명의 일 실시예에서, 변위 분석기(1020)는 규정된 원점과 정규화된 이미지 영역의 맞은편 에지 사이의 백분율 거리에 대한 소수 동치(decimal equivalents)와 관련하여 규정되는 변형된 메시 위치 정보를 이용한다. 이러한 일 실시예에서, 정규화된 이미지 영역은 정의된 원점에서는 0의 값을 가지고 원점으로부터 직각으로 맞은편에 있는 이미지 영역 에지에서는 1의 값을 갖는다. 예를 들어, 원점으로서 정의된 위치(902)를 갖는 예시적인 2차원 변형된 메시(900)를 이용하는 경우, 표 1은 위치(902)의 오른쪽에 대한 각 경계 라인 분리자(701-709)의 백분율 거리의 소수 표현을 나타낸다. 표 1은 또한 위치(902) 아래의 각각의 접경 라인 분리자(711-719)의 백분율 거리의 소수 표현을 나타낸다.
Figure 112009006123645-pct00001
표 1에 도시되어 있는 값은 변형된 메시 위치 정보의 형태로 정수 포맷으로 변형된 수신기(1010)에 의해 수신될 수 있고 그런 다음 필요에 따라 변위 분석기(1020)용으로 변환된다. 표 1에 도시되어 있는 바와 같이, 도 9의 경계 라인 분리자(709)는 위치(902)로부터, 변형된 메시(900)에 의해 모델링된 영역 양단 거리의 대략 10%(0.102)만큼 오른쪽으로 변위된다. 유사하게, 접경 라인 분리자(711)는 위치(902)로부터, 변형된 메시(900)에 의해 모델링된 영역에서 상향/하향 거리의 대략 17%(0.166)만큼 아래쪽으로 변위된다. 비록 이들이 표 1에서는 소수 값으로서 표현되어 있지만, 변위 분석기(1020)의 또 다른 실시예는 정수, 고정 소수점 수, 부동 소수점 수, 이진 수, 또는 그 밖의 다른 몇몇 컴퓨터화된 표현의 수치 값의 형태로 동일한 위치 정보를 조작 및 사용할 수 있다. 변형된 메시(900)와 같은 2차원의 변형된 메시는 본래 두 개의 1차원의 변형된 메시에 대한 정보를 포함함을 이해해야 한다. 변환의 또 다른 예는 분리자 위치 정보로서 수신된 2차원의 변형된 메시 위치 정보를 분리자의 교차부의 노드 교차 위치로 변환하는 것이다.
도 11의 단계(1115)에서, 본 발명의 일 실시예에서, 수신된 변형된 메시 내의 성분들의 변위는 변형되지 않은 메시 내의 대응하는 구성요소의 위치에 대해 결정된다. 변위 분석기(1020)는 이 분석을 수행한다. 일 실시예에서, 이 분석은 2차원의 변형된 메시의 양 차원에 대해 수행된다. 한편 일 실시예에서, 이 분석은 2차원의 변형된 메시의 노드 교차부에 수행되거나 또는 변형된 메시의 데이터의 몇몇 다른 표현에 대해 수행된다.
일 실시예에서, 분석을 수행하기 위해, 수신된 변형된 메시의 각각의 차원은 변형되지 않은 메시의 유사하게 구성된 차원에 비교된다. 예를 들어, 2차원의 수평/수직이 변형된 메시(900)의 각각의 차원은 변형되지 않은 2차원의 수평/수직 메시에서 그의 대응하는 차원에 비교될 수 있다. 변형되지 않은 이러한 메시는 전체 이미지 영역에 걸쳐 균일한 분포의 현출성을 갖는 이미지를 나타내는, 규칙적으로 이격된 9개의 수평 분리자 및 규칙적으로 이격된 9개의 수직 분리자를 가질 수 있다. 도 12는 규칙적으로 이격된 수직 경계 라인 분리자(1271-1279)와 규칙적으로 이격된 수평 접경 라인 분리자(1281-1291)를 갖는 변형되지 않은 메시(1200)를 나타낸다. 경계 라인 분리자(1271-1279)는 도 9의 경계 라인 분리자(701-709)에 대응하고, 접경 라인 분리자(1281-1291)는 도 9의 접경 라인 분리자(711-719)에 대응한다. 규칙적으로 이격된 도 12의 영역 분리자는 동일한 면적/현출성을 갖는 10개의 수평 영역과 동일한 면적/현출성을 갖는 10개의 수직 영역을 정의한다.
Figure 112009006123645-pct00002
표 2는 표 1의 변형된 메시(900)에 대해 도시된 위치 정보에 대한 대응 포맷으로 변형되지 않은 메시(1200)에 대한 위치 정보를 나타낸다. 표 2에서의 변위는 원점(1202)으로부터 좌-우 또는 상-하 거리 전체의 백분율의 소수 동치로서 표현된다. 변형되지 않은 메시(1200)는 변형된 메시(900)와 동일한 방식으로 정규화된다. 표 1에서와 같이, 표시된 소수 값은 예시적일 뿐이고 그 밖의 다른 실수, 고정 소수점 수, 부동 소소점 수, 이진 수, 또는 그 밖의 다른 컴퓨터 표현의 수치 값으로 표현 및 처리될 수 있음을 이해해야 한다.
수평/수직 변형된 메시의 경우, 변위 분석기(1020)는 서로 평행하게 배향된 제 1 세트의 분리자 성분들에 대한 변위의 제 1 통계적 표현, 예를 들어 표준 편차를 결정한다. 예를 들어, 변위 분석기(1020)는 수신된 변형된 메시(900) 내의 각각의 경계 라인 분리자와 변형되지 않은 메시(1200)에서 규칙적으로 이격된 그의 대응하는 경계 라인 분리자 사이의 차이를 구한다. 예를 들어, 변위 분석기(1020)는 경계 라인 분리자(701-709)에 의해 표현되는 1차원의 변형된 메시로 시작하거나 또는 접경 라인 분리자(711-719)에 의해 규정된 1차원의 변형된 메시로 시작한다. 예를 들어 경계 라인 분리자(701-709)로 구성된 1차원의 변형된 메시가 먼저 처리되는 것으로 가정하면, 경계 라인(709)의 위치와 그에 대응하는 규칙적으로 이격된 경계 라인(1279) 간의 차이는 0.102-0.100으로 계산된다. 따라서, 변형되지 않은 위치로부터의 차이는 0.002이다. 이 계산은 나머지 수신된 경계 라인 분리자(708-701)와 그에 대응하는 변형되지 않은 경계 라인 분리자(1278-1271)에 대해 반복된다. 모든 차이가 구해지면, 통계적 분석이 수행되어 차이에 대한 통계적 표현을 결정한다. 본 발명의 일 실시예에서, 변형되지 않은 메시의 수직 경계 라인 분리자 위치로부터 수평 거리의 표준 편차가 결정된다. 이 예에서, 표준 편차는 대략 0.125이다. 본 발명의 또 다른 실시예에서, 차이의 기하학적 평균, 차이의 절대값의 합, 또는 그 밖의 다른 일부 통계적 표현이 결정된다.
다음으로, 변위 분석기(1020)는 서로 평행하게 배향되고 제 1 세트의 분리자에 대해 실질적으로 수직으로 배향된 제 2 세트의 분리자 성분들에 대한 변위의 제 2 통계적 표현, 예를 들어 표준 편차를 결정한다. 이전 예에 후속하여, 변위 분석기(1020)는 수평 접경 라인 분리자(711-719)로 구성된 제 2의 1차원의 변형된 메시에 대한 나머지 위치 정보에 대하여 계산을 반복한다. 변위 분석기(1020)는 수신된 변형된 메시(900) 내의 각각의 접경 라인 분리자와 변형되지 않은 메시(1200)에서 규칙적으로 이격된 그의 대응하는 접경 라인 분리자 사이의 차이를 구한다. 접경 라인 분리자(711)의 위치와 그에 대응하는 규칙적으로 이격된 접경 라인 분리자(1281) 간의 차이는 0.166-0.100으로 계산된다. 따라서, 변형되지 않은 위치로부터의 차이는 0.066이다. 이 계산은 나머지 수신된 접경 라인 분리자(712-719)와 그에 대응하는 변형되지 않은 접경 라인 분리자(1282-1289)에 대해 반복된다. 모든 차이가 구해지면, 통계적 분석이 수행되어 차이에 대한 통계적 표현을 결정한다. 일 실시예에서, 변형되지 않은 메시의 수평 접경 라인 분리자 위치로부터 수직 거리의 표준 편차가 결정된다. 이 예에서, 표준 편차는 대략 0.052이다. 본 발명의 또 다른 실시예에서, 차이의 기하학적 평균, 차이의 절대값의 합, 또는 그 밖의 다른 일부 통계적 표현이 차이와 관련하여 결정될 것이다.
예를 들어 사선/사선 변형된 메시와 같은 또 다른 2차원의 변형된 메시가 수신되는 경우, 변위 분석기(1020)는 제 2의 2차원의 변형된 메시에 대해 전술한 과정을 반복한다. 앞서와 같이, 1차원의 변현된 메시 각각의 분리자 성분들 간의 차이에 대한 통계적 표현이 동일한 현출성/면적의 사선 영역을 규정하는 변형되지 않은 사선/사선 메시 내에서 유사하게 배향된 성분에 대해 계산된다. 수평/수직 변형된 메시의 경우와는 달리, 이러한 사선/사선 변형되지 않은 메시에서의 이러한 분리자는 서로 균일하게 이격되지 않을 것이다. 따라서, 사선/사선 변형된 메시의 경우, 변위 분석기(1020)는 서로 평행하게 배향되고 이미지의 수평 축에 대해 대략 45도의 각도로 배향된 제 1 세트의 분리자 성분들에 대한 변위의 제 1 통계적 표현, 예를 들어 표준 편차를 결정한다. 그런 다음, 변위 분석기는 서로 평행하게 배향되고 제 1 세트의 분리자에 대해 실질적으로 수직으로 배향된 제 2 (나머지) 세트의 분리자 성분들에 대한 변위의 제 2 통계적 표현, 예를 들어 표준 편차를 결정한다.
접경 라인 및 경계 라인 타입의 분리자 위치 대신에 2차원의 변형된 메시의 노드 교차 위치를 이용하는 본 발명의 또 다른 실시예에서, 수신된 변형된 메시의 노드 교차 위치는 유사하게 구성된 변형되지 않은 메시 내의 노드 교차 위치에 비교된다. 위치의 차이가 계산되고 통계적 분석이 수행되어 차이의 통계적 표현을 결정한다. 노드(903)(도 9)와 노드(1203)(도 12)는 수신된 변형된 메시(900)와 변형되지 않은 메시(1200)에서의 대응하는 노드의 예이다. 본 발명의 일 실시예에서, 대응하는 변형되지 않은 노드의 위치로부터 수신된 노드의 2차원 변위가 구해지고 수신된 노드의 변위의 표준 편차가 계산된다. 또 다른 실시예에서, 노드 위치 변위의 차이의 기하학적 평균, 노드 위치 변위의 절대값의 합산, 또는 차이에 대한 그 밖의 다른 일부 통계적 표현이 결정된다.
도 11의 단계(1125)에서, 본 발명의 일 실시예에서, 변형된 메시 분리자 성분의 변위에 대한 통계적 표현은 지배 라인에 대해 이미지를 평가하는데 사용된다. 지배 라인 결정기(1030)(도 11)는 이 평가를 수행한다. 예를 들어, 일 실시예에서, 지배 라인 결정기(1030)는 변형된 메시의 제 2 세트의 분리자 성분의 변위에 대한 표준 편차에 대하여, 변형된 메시의 제 1 세트의 분리자 성분의 변위에 대한 표준 편차를 평가한다. 이것은 예를 들어 제 2 표준 편차에 대한 제 1 표준 편차의 비율을 평가하는 것을 포함한다. 평가의 결과는 이미지의 지배 라인의 방향 축 및/또는 강도를 나타낸다.
2차원의 변형된 메시(900)에 대해 계산된 예시적인 표준 편차는 지배 라인 결정기(1030)가 이미지 내의 지배 라인의 방향 및/또는 강도를 정하는 방식에 대한 통찰력을 제공한다. 예를 들어, 수직의 경계 라인 분리자(701-709)의 수평 표준 편차는 대략 0.125임 반면, 수평 접경 라인 분리자(711-719)의 수직 표준 편차는 대략 0.052이다. 수직 표준 편차에 대한 수평 표준 편차의 비율을 평가함으로써 이미지(500)(도 5)의 지배 라인의 척도를 제공한다. 예를 들어, 비율(R)이 1보다 큰 경우, 수평 방향에서의 편차는 수직 방향에서보다 더 표명되고(pronounced), 이미지는 수직 지배 라인을 갖는다. 유사하게, 1보다 큰 R의 보다 큰 값은 보다 큰 강도의 지배 라인에 상관된다(즉, 지배 라인이 더 표명됨). 역으로, R의 값이 1보다 작은 경우, 수직 방향의 편차는 수평 방향에서보다 더 표명되고, 이미지는 수평 지배 라인을 갖는다. 유사하게, 1보다 작은 R의 보다 작은 값은 보다 큰 강도의 수평 지배 라인에 상관된다(즉, 지배 라인이 더 표명됨). 일 실시예에서, 감시자 특징(watch dog feature)이 지배 라인 결정기(1030)에 구축되고, 그에 따라 지배 라인 결정기(1030)는 0과 동일한 임의의 표준 편차 대신에 0.001과 같은 매우 작은 값을 사용할 수 있다. 이것은 0에 의한 나눗셈과 잠재적으로 야기될 수 있는 무한대 에러를 방지한다. 따라서, 현재의 예에서, 0.125 내지 0.052의 비율은 2.4의 R값을 야기한다. 이것은 라인(505)으로 도시되어 있는 바와 같이 이미지(500)의 y-축 방향으로 배향된 중간 강도의 수직 지배 라인을 나타낸다.
변형된 메시(900)를 사용하는 앞서 기술한 예에서 설명한 바와 같이, 지배 라인 결정기(1030)는 제 1 세트의 성분의 변위에 대한 제 1 통계적 표현을 제 2 세트의 성분의 변위에 대한 제 2 통계적 표현에 비교하여 지배 라인의 존재에 대해 이미지(500)를 평가한다. 주어진 예에서, 이미지(500)는 수평 또는 수직 지배 라인의 존재에 대해 평가되었다. 유사하게, 직교하는 사선/사선 메시(도 8에 도시 됨)는 우측 상단에서 좌측 하단으로의 사선 지배 라인 또는 좌측 상단에서 우측 하단으로의 사선 지배 라인에 대해 이미지(500)를 평가하는데 사용될 수 있다. 이러한 사선/사선 변형된 메시를 이용하는 예에서, 제 1 세트의 평행한 분리자 성분의 변위에 대한 표준 편차는 제 2 세트의 직교하는 분리자 성분의 변위에 대한 표준 편차에 비교된다. 지배 라인 결정기(1030)는 수평/수직 메시(900)의 예와 관련하여 기술한 방식으로 임의의 검출된 사선 지배 라인의 사선 축 및 강도를 결정한다.
도 13은 본 발명의 실시예에 따른 수평 지배 라인(1305)을 갖는 이미지(1300)를 나타낸다. 이미지(1300)는 실질적으로 이미지(1300)의 좁은 대역을 가로질러 수평 방향으로 연장하는 산맥(1301)을 갖는 풍경을 나타낸다. 이것은 이미지(1301)의 x-축을 따른 방향(1305)의 강한 수평 지배 라인을 생성한다. 일 실시예에서, 지배 라인 결정기(1030)는 흐름도(1100)와 연계하여 기술한 방법을 사용함으로써 수평 지배 라인(1305)의 방향 및 강도를 검출한다.
도 14는 본 발명의 실시예에 따라 사선 지배 라인(1405)을 갖는 이미지(1400)를 나타낸다. 이미지(1400)는 실질적으로 이미지(1400)를 가로질러 좌측 상단에서 우측 하단으로의 사선으로 연장하는 야구 방망이(1401)을 나타낸다. 이것은 이미지(1401)의 좌측 상단에서 우측 하단으로의 사선 축을 따른 방향(1405)의 강한 사선 지배 라인을 생성한다. 일 실시예에서, 지배 라인 결정기(1030)는 흐름도(1100)와 연계하여 기술한 방법을 사용함으로써 사선 지배 라인(1405)의 방향 및 강도를 검출한다.
도 15는 본 발명의 실시예에 따라 무시가능한 지배 라인을 갖는 이미 지(1500)를 나타낸다. 이미지(1500)는 이미지(1500)의 중앙 근처에 배치된 야구공을 나타낸다. 이것은 이미지(1500)가 지배 라인에 대해 평가되는 경우 무시가능한 또는 효과없는 결정을 야기한다. 일 실시예에서, 지배 라인 결정기(1030)는 흐름도(1100)와 연계하여 기술한 방법을 사용함으로써 지배 라인의 부재(또는 매우 약한 지배 라인의 존재)를 검출한다.
도 16은 본 발명의 일 실시예에 따라 프리젠테이션 내에서 이미지 이동을 결정하는 방법의 흐름도(1600)이다.
도 16의 단계(1610)에서, 본 발명의 일 실시예에서, 이미지에 관련된 지배 라인 정보가 수신된다. 예를 들어, 일 실시예에서, 이동 결정기(1050)는 지배 라인 결정기(1030)로부터 지배 라인 정보를 수신한다(이들 모두는 도 10에 도시되어 있다). 수신된 지배 라인 정보는 이미지에 대한 지배 라인의 축 또는 방향을 규정한다. 수신된 지배 라인 정보는 또한 지배 라인의 관련 강도를 전달 또는 규정한다. 일 예로서, 일 실시예에서, 지배 라인 정보는 이미지의 변형된 메시 표현의 평가로부터 결정된 수치 결과를 포함한다. 따라서, 전술한 예에서, 이미지(500) 및 변형된 메시(900)의 평가와 연계하여, R의 값, 즉 2.4는 이동 결정기(1050)에 전달된다. 유사하게, 수치 값이 사용되지 않는 경우, 중간 강도 수직 지배 라인을 나타내는 정보가 이동 결정기(1050)에 전달된다.
도 16의 단계(1620)에서, 본 발명의 일 실시예에서, 수신된 지배 라인 정보는 평가된다. 일 실시예에서, 이동 결정기(1050)는 수신된 지배 라인 정보의 평가를 수행한다. 일 실시예에서, 이동 결정기(1050)는 간단히 각 이미지에 대한 지배 라인 정보를 그의 방향 및 강도에 기초하여 독립적으로 평가한다. 그러나, 또 다른 실시예에서, 이동 결정기(1050)는 또한 프리젠테이션 내에서 함께 제공되는 다수의 이미지에 대한 지배 라인 정보와 연계하여 각 이미지에 대한 지배 라인 정보를 평가한다. 이러한 일 실시예에서, 다수의 이미지 각각에 대한 지배 라인 정보는 또한 디폴트 설정값, (예를 들어 사용자 제어(1040)로부터의) 사용자 입력 또는 이들 모두에 대해 평가된다. 이러한 평가를 통해, 이동 결정기(1050)는 지배 라인 정보에 기초하여 및/또는 부가적으로는 디폴트 설정값 또는 사용자 입력에 대하여 이미지에 대한 지배 라인의 방향을 특정한다. 이러한 평가를 통해, 이동 결정기(1050)는 지배 라인 정보에 기초하여 이미지에 대한 지배 라인의 강도를 특정한다. 다수의 이미지의 지배 라인 정보를 평가하는 기법의 일 예는 다수의 이미지의 지배 라인의 방향 및 관련 강도를 나타내는 그래픽 포인트를 도식화하는 것을 포함한다. 도 17은 X-Y 그래프 상에 도시된 이러한 다수의 그래픽 포인트를 도시한다.
도 17은 본 기술의 실시예에 따라 지배 라인 정보를 평가하는 예시적인 기술을 도시하고 있다. 도 17의 그래프는 x-축(1715), y-축(1710), 원점(1705) 및 분할 라인(1725, 1720)으로 구성된다. 포인트(1730)는 수직 지배 라인(505)(도 5)과 같은 중간 강도의 수직 지배 라인을 표현한다. 포인트(1736)는 수평 지배 라인(1305)(도 13)과 같은 높은 강도의 수평 지배 라인을 표현한다. 포인트(1734)는 사선 지배 라인(1405)(도 14)과 같은 높은 강도의 사선 지배 라인을 표현한다. 포인트(1732)는 도 15와 관련하여 무시할 수 있을 정도의 거의 존재하지 않는 지배 라인을 표현한다. 일 실시예에서, 분할 라인(1720, 1725)은 사용자 입력에 의해, 예를 들어 사용자 제어(1740)로부터 결정된다. 다른 실시예에서, 분할 라인(1720, 1725)은 디폴트 설정값(default settings)에 따라 결정된다. 2개의 분할 라인(1720 또는 1725)이 도시되어 있으나, 다른 실시예는 그러한 분할 라인을 더 많이 사용할 수도 있고 또는 더 적게 사용할 수도 있음이 이해될 것이다. 또한, 다른 실시예에서는, 그러한 분할 라인이 사용자 입력, 디폴트 설정값 또는 이들 두 가지 모두에 기초하여 상이한 위치에 위치하거나 상이한 각도로 위치할 수 있음이 이해될 것이다.
이미지 그룹의 25%가 수평으로 패닝하거나 이동해야 하고, 25%가 수직으로 패닝하거나 이동해야 하며, 50%가 사선으로 패닝하거나 이동해야 하는 것으로 디폴트 설정값이 표시되는 실례를 고려하자. 그러한 조건에 기초하여, 이동 결정기는 분할 라인(1720, 1725)의 배치를 통해 포인트(1730, 1732, 1734, 1736)를 3개의 영역으로 분할한다. 분할 라인(1725) 위의 포인트는 수직 패닝/이동용으로 지정되고, 분할 라인(1720) 아래의 포인트는 수평 패닝/이동용으로 지정되며, 분할 라인(1720)과 분할 라인(1725) 사이의 포인트는 사선 패닝/이동용으로 지정된다. 따라서, 이 기술에서는, 이미지가 그것의 지배 라인과는 근소하게 불일치하는 방향으로 패닝될 수 있다는 것이 가능하다. 예를 들어, 수평, 수직 또는 무시할 수 있는 지배 라인을 갖는 이미지는 사선 패닝/이동용으로 지정되어 디폴트 또는 사용자 제공 사양을 충족시킬 수 있다. 마찬가지로, 사선 지배 라인을 갖는 이미지는 수평 또는 수직 패닝/이동용으로 지정되어 디폴트 또는 사용자 제공 사양을 충족시킬 수 있다. 그러나, 그러한 경우, 그들 불일치하게 패닝된 이미지와 관련된 데이터 포 인트는 분할 라인에 가까울 것이며, 그에 따라 분할 라인으로부터 멀리 떨어진 이미지보다 더 많이 모호한 지배 라인을 가질 것이다. 많은 경우, 그러한 불일치하게 패닝된 이미지는 근소한 사선 성분을 갖는 중간 강도의 수평 지배 라인과 같은 하나 이상의 지배 라인의 구성요소도 가질 것이다.
본 기술의 일 실시예에서는, 도 16의 블록(1630)에서, 프리젠테이션 시의 이미지의 이동 방향이 결정된다. 이동 방향은 지배 라인 정보에 기초하여 이전에 수행되었던 평가에 기초한다.
따라서, 각각의 이미지마다 지배 라인 정보가 독립적으로 평가되는 일 실시예에서는, 이동 결정기는 이미지의 지배 라인과 실질적으로 동일한 방향 축에 있는 이미지로 패닝/이동 방향을 할당한다. 예를 들어, 이미지(500)(도 5)는 보기 영역(a viewing region) 내에서 지배 라인(505)과 일치하는 방향인 위아래로 패닝 또는 이동하도록 할당된다. 이러한 패닝/이동은 이미지의 콘텐츠를 강조하고 보완한다. 다른 유사한 실시예에서, 디폴트 설정 또는 사용자 입력에 따라, 이동 결정기(1050)는 실질적으로 결정된 지배 라인과 직교하는 방향 축으로 패닝되거나 이동될 몇몇 이미지 또는 이미지들을 할당한다. 예를 들어, 이러한 실시예에서, 이미지(500)는 보기 영역 내에서 지배 라인(505)에 대해 직교하는 방향인 좌우로 패닝/이동되도록 할당된다. 이러한 패닝/이동은 의도적으로 이미지의 지배 라인과 충돌되도록 할당되어 관측자에서의 충돌 또는 불일치의 느낌을 가져오게 한다.
도 16의 블록(1630)과 일치하는 다른 실시예에서, 이미지는, 도 17의 설명에 의해 예시되는 바와 같이, 사용자 입력, 디폴트 설정 또는 이들 모두와 관련된 지 배 라인 정보의 평가에 의해 결정되는 방향으로 패닝된다. 예를 들어, 다수의 이미지의 이동 방향의 결정은 도 17에 도시한 데이터 포인트(1730, 1732, 1734, 1736) 및 분할 라인(1720, 1725)과 일치할 것이다. 따라서, 예를 들어, 이동 결정기(1050)는 데이터 포인트(1736)와 관련된 이미지(500)가 수평으로 패닝/이동되어야 하고, 데이터 포인트(1732)와 관련된 이미지(1500)가 사선으로 패닝/이동되어야 한다는 것을 판별할 것이다. 이와 같이 이미지의 패닝/이동 방향에 대한 자동 판단은 프레젠테이션 시에 사용된 패닝/이동 방향에 관하여 다양성을 도입하며, 동시에 이미지와 연관된 지배 라인과 일치하는 방향으로 이미지를 패닝시키고자 한다.
일 실시예에서, 예를 들어, 이동 결정기(1050)는 프레젠테이션 생성기(270)와 같은 프레젠테이션 생성기에 의해 해석될 수 있는 2차원 이동 벡터로서 이미지에 관한 이동 정보를 출력한다. 반복을 방지하기 위해, 이동 벡터의 부호는 무작위로 변경될 수 있다. 따라서, 예를 들어, 수평으로 패닝되도록 할당된 하나의 이미지는 왼쪽으로부터 오른쪽으로 패닝될 수 있고, 수평으로 패닝되도록 할당된 다른 이미지는 수평 이동 벡터로의 무작위 부호 할당에 의존하여 오른쪽으로부터 왼쪽으로 패닝될 수 있다.
또한, 일 실시예에서, 이동 결정기(1050)는 줌 벡터를 자동으로 할당하도록 구성된다. 줌 벡터의 부호는 2차원 이동 벡터의 기호를 임의로 변경하는 것과 유사한 방법으로 임의로 변경될 수 있다. 또한, 현출성 정보의 이용을 통해, 줌 벡터는 오로지 이미지의 현출부 상에서 또는 현출부만을 중심으로 방향이 지정될 수 있다. 이러한 줌 벡터의 할당은, 특정 이미지를 2차원으로 단순히 패닝시키는 반 복성을 제거하는 데 도움이 되며, 이미지 콘텐츠로부터 주의를 돌리지 않고 이미지의 프레젠테이션에 대한 관심을 증가시킨다.
본 기술의 일 실시예에서는, 도 16의 블록(1640)에서, 프레젠테이션 시의 이미지의 이동 속도가 결정된다. 이동 속도는 지배 라인 정보에 따라 이전에 수행되었던 평가에 기초한다. 예를 들어, 일 실시예에서, 이미지의 이동/패닝 속도는 지배 라인의 강도에 직접적으로 비례한다. 따라서, 지배 라인이 강할수록, 이미지는 보기 영역 전체에서 더욱 빨리 이동하거나 패닝할 것이다. 유사하게, 지배 라인이 약할수록, 이미지는 보기 영역 전체에서 더욱 느리게 패닝하거나 이동할 것이다. 마찬가지로, 이동 결정기(1050)가 사용자 입력 또는 디폴트 설정에 기초하여 이미지 이동을 추가로 결정하는 실시예에서도, 이미지 속도는 여전히 지배 라인의 강도에 비례한다. 따라서, 도 17에서, 이동 결정기(1050)는 이미지의 관련 데이터 포인트가 원점(1705)으로부터 떨어져 있는 거리에 기초하여 이미지의 이동 속도를 결정한다. 이것은, 약한 지배 라인이 데이터 포인트를 원점(1705)에 가깝게 플롯(plot)되게 하고 강한 지배 라인이 데이터 포인트를 원점(1705)으로부터 더 멀리 플롯되게 하기 때문이다. 따라서, 이동 결정기(1050)는, 데이터 포인트(1734)와 연관된 이미지(1400)가 매우 높은 속도(예를 들어, 초당 50 픽셀)로 이동되어야 하고 데이터 포인트(1732)와 연관된 이미지(1500)가 느린 속도(예를 들어, 초당 2 픽셀)로 이동되어야 한다고 결정할 것이다. 지배 라인의 강도와 이미지 속도의 결합은 지배 라인의 방향과 관련된 이동에 의해 대부분 보완된 수 있는 이미지 데이터에 보다 빠른 이동을 더한다는 효과를 갖는다. 마찬가지로, 약하거나 무시할 수 있는 정도의 지배 라인을 갖는 이미지는 이미지가 프레젠테이션 내에서 디스플레이되는 기간 동안에 거의 감지할 수 없는 매우 느린 속도로 이동될 것이다.
또한, 줌 벡터가 이미지에 할당된 실시예에서, 이동 결정기(1050)는 또한 줌 속도를 줌 벡터에 임의로 할당할 수 있다. 따라서 몇몇 이미지는 디스플레이 하기 전에 줌될 수 있고, 다른 이미지는 디스플레이 동안에 임의의 속도로 또는 줌업(zoom upon)되고 있는 이미지의 일부분의 현출성과 관련하여 상이한 속도로 줌될 수 있다. 이것은 이미지의 콘텐츠로부터 주의를 돌리지 않고 디스플레이된 이미지에 대한 관심을 증가시킨다.
본 기술의 주제가 구조적 특징 및/또는 방법적 작용에 대해 특정한 언어로 설명되고 있지만, 첨부한 특허청구범위에서 정의된 주제가 반드시 상술한 특정한 특징 또는 작용으로 제한되는 것은 아니라는 점이 이해될 것이다. 오히려, 상술한 특정한 특징 및 작용은 특허청구범위를 구현하는 예시적인 형태로서 개시된다.

Claims (15)

  1. 지배 라인(dominant line)의 존재에 대해 이미지를 평가하는 방법(1100)에 있어서,
    이미지의 현출성(saliency)에 관한 변형된 메시 정보(warped mesh information)를 수신하는 단계(1105)-상기 변형된 메시 정보는 현출성 맵에 대해 적어도 하나의 정의된 방향으로 현출성 값의 적어도 하나의 합산에 근거하여 도출됨-와,
    변형되지 않은 메시 정보 내의 대응하는 구성요소에 대하여 상기 변형된 메시 정보의 구성요소의 변위를 결정하는 단계(1115)와,
    상기 지배 라인의 존재에 대해 상기 이미지를 평가하기 위해 상기 변위의 통계적 표현을 사용하는 단계(1125)를 포함하는
    이미지 평가 방법.
  2. 제 1 항에 있어서,
    상기 이미지의 현출성에 관한 변형된 메시 정보를 수신하는 단계(1105)는 수직 분리자(separators)의 세트와 수평 분리자의 세트로 구성된 2차원 변형된 메시를 수신하는 단계를 포함하는
    이미지 평가 방법.
  3. 제 2 항에 있어서,
    상기 이미지의 현출성에 관한 변형된 메시 정보를 수신하는 단계(1105)는 상기 이미지의 수평 축에 대해 45도 각도로 위치하는 제 1 세트의 사선 분리자와 상기 제 1 세트의 사선 분리자에 대해 수직으로 배향된 제 2 세트의 사선 분리자로 구성된 2차원 변형된 메시를 수신하는 단계를 포함하는
    이미지 평가 방법.
  4. 제 1 항에 있어서,
    상기 변형되지 않은 메시 정보 내의 대응하는 구성요소에 대하여 상기 변형된 메시 정보의 구성요소의 변위를 결정하는 단계(1115)는,
    서로 평행하게 배향된 제 1 세트의 분리자 구성요소에 대한 변위의 제 1 통계적 표현을 결정하는 단계와,
    서로 평행하게 배향되고 또한 상기 제 1 세트의 분리자에 대해 수직으로 배향된 제 2 세트의 분리자 구성요소에 대한 변위의 제 2 통계적 표현을 결정하는 단계를 포함하는
    이미지 평가 방법.
  5. 제 4 항에 있어서,
    상기 변형되지 않은 메시 정보 내의 대응하는 구성요소에 대하여 상기 변형된 메시 정보의 구성요소의 변위를 결정하는 단계(1115)는,
    서로 평행하게 배향되고 또한 상기 이미지의 수평 축에 대해 45도의 각도로 배향되는 제 3 세트의 분리자 구성요소에 대한 변위의 제 3 통계적 표현을 결정하는 단계와,
    서로 평행하게 배향되고 또한 상기 제 3 세트의 분리자에 대해 수직으로 배향된 제 4 세트의 분리자 구성요소에 대한 변위의 제 4 통계적 표현을 결정하는 단계를 포함하는
    이미지 평가 방법.
  6. 제 4 항에 있어서,
    상기 지배 라인의 존재에 대해 상기 이미지를 평가하기 위해 상기 변위의 통계적 표현을 사용하는 단계(1125)는 지배 라인의 존재에 대해 상기 이미지를 평가하기 위해 상기 제 1 통계적 표현과 상기 제 2 통계적 표현의 비교를 사용하는 단계를 포함하는
    이미지 평가 방법.
  7. 제 5 항에 있어서,
    상기 지배 라인의 존재에 대해 상기 이미지를 평가하기 위해 상기 변위의 통계적 표현을 사용하는 단계(1125)는 지배 라인의 존재에 대해 상기 이미지를 평가하기 위해 상기 제 3 통계적 표현 및 상기 제 4 통계적 표현의 비교를 사용하는 단계를 포함하는
    이미지 평가 방법.
  8. 제 1 항에 있어서,
    상기 지배 라인의 존재에 대해 상기 이미지를 평가하기 위해 상기 변위의 통계적 표현을 사용하는 단계(1125)는 상기 구성요소의 제 2 세트의 변위의 표준 편차에 대해 상기 구성요소의 제 1 세트의 변위의 표준 편차를 평가하는 단계를 포함하되, 상기 평가하는 단계의 결과는 상기 지배 라인의 방향 및 강도를 나타내는
    이미지 평가 방법.
  9. 프리젠테이션 내에서의 이미지 이동을 결정하는 방법(1600)에 있어서,
    이미지에 관련된 지배 라인 정보를 수신하는 단계(1610)-상기 지배 라인 정보는 현출성 맵에 대해 적어도 하나의 정의된 방향으로 현출성 값의 적어도 하나의 합산에 근거하여 도출됨-와,
    상기 지배 라인 정보를 평가하는 단계(1620)와,
    상기 프리젠테이션 내에서 상기 이미지의 이동 방향을 결정하되, 상기 이동 방향은 상기 지배 라인 정보의 상기 평가에 기초하는 단계(1630)와,
    상기 프리젠테이션 내에서 상기 이미지의 이동 속도를 결정하되, 상기 이동 속도는 상기 지배 라인 정보의 상기 평가에 기초하는 단계(1640)를
    포함하는 이미지 이동을 결정하는 방법.
  10. 제 9 항에 있어서,
    상기 지배 라인 정보를 평가하는 단계(1620)는 사용자 입력에 대해 상기 지배 라인 정보를 평가하는 단계를 포함하는
    이미지 이동을 결정하는 방법.
  11. 제 9 항에 있어서,
    상기 지배 라인 정보를 평가하는 단계(1620)는 디폴트 설정값에 대해 상기 지배 라인 정보를 평가하는 단계를 포함하는
    이미지 이동을 결정하는 방법.
  12. 제 9 항에 있어서,
    상기 지배 라인 정보를 평가하는 단계(1620)는 상기 지배 라인 정보에 기초하여 상기 지배 라인의 방향을 특정하는 단계를 포함하는
    이미지 이동을 결정하는 방법.
  13. 제 9 항에 있어서,
    상기 지배 라인 정보를 평가하는 단계(1620)는 상기 지배 라인 정보에 기초하여 상기 지배 라인의 강도를 특정하는 단계를 포함하는
    이미지 이동을 결정하는 방법.
  14. 제 9 항에 있어서,
    상기 프리젠테이션 내에서 상기 이미지의 이동 방향을 결정하되, 상기 이동 방향은 상기 지배 라인 정보의 상기 평가에 기초하는 단계(1630)는 상기 프리젠테이션 내에서 상기 이미지의 상기 이동 방향을 결정하되, 상기 이동 방향은 상기 이미지의 지배 라인과 동일한 축 내에 있는 단계를 포함하는
    이미지 이동을 결정하는 방법.
  15. 제 9 항에 있어서,
    상기 프리젠테이션 내에서 상기 이미지의 이동 방향을 결정하되, 상기 이동 방향은 상기 지배 라인 정보의 상기 평가에 기초하는 단계(1630)는 상기 이미지의 상기 프리젠테이션에 대해 상기 이동 방향을 결정하되, 상기 이동 방향은 상기 이미지의 지배 라인에 대해 수직인 축 내에 있는 단계를 포함하는
    이미지 이동을 결정하는 방법.
KR1020097002081A 2006-07-31 2007-07-25 이미지 평가 방법 및 이미지 이동 결정 방법 KR100998428B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/496,808 US7751627B2 (en) 2006-07-31 2006-07-31 Image dominant line determination and use
US11/496,808 2006-07-31

Publications (2)

Publication Number Publication Date
KR20090026206A KR20090026206A (ko) 2009-03-11
KR100998428B1 true KR100998428B1 (ko) 2010-12-03

Family

ID=38704816

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097002081A KR100998428B1 (ko) 2006-07-31 2007-07-25 이미지 평가 방법 및 이미지 이동 결정 방법

Country Status (8)

Country Link
US (1) US7751627B2 (ko)
JP (1) JP4916548B2 (ko)
KR (1) KR100998428B1 (ko)
CN (1) CN101553845B (ko)
BR (1) BRPI0714106A2 (ko)
DE (1) DE112007001789B9 (ko)
GB (1) GB2454397B (ko)
WO (1) WO2008016532A2 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8271871B2 (en) * 2009-04-30 2012-09-18 Xerox Corporation Automated method for alignment of document objects
US8693780B2 (en) * 2009-06-22 2014-04-08 Technion Research & Development Foundation Limited Automated collage formation from photographic images
CN102271262B (zh) * 2010-06-04 2015-05-13 三星电子株式会社 用于3d显示的基于多线索的视频处理方法
KR101883354B1 (ko) * 2011-05-30 2018-07-30 삼성전자주식회사 터치 스크린을 구비한 기기에서 전자 지도의 브라우징을 위한 장치 및 방법
US9202258B2 (en) * 2012-06-20 2015-12-01 Disney Enterprises, Inc. Video retargeting using content-dependent scaling vectors
KR20140143623A (ko) * 2013-06-07 2014-12-17 삼성전자주식회사 휴대 단말기에서 컨텐츠를 표시하는 장치 및 방법
JP6330385B2 (ja) * 2014-03-13 2018-05-30 オムロン株式会社 画像処理装置、画像処理方法およびプログラム
EP2961183A1 (en) * 2014-06-27 2015-12-30 Alcatel Lucent Method, system and related selection device for navigating in ultra high resolution video content
US20160140748A1 (en) * 2014-11-14 2016-05-19 Lytro, Inc. Automated animation for presentation of images
US10296448B2 (en) * 2014-11-19 2019-05-21 International Business Machines Corporation Correlating test results variations with business requirements
US10394660B2 (en) * 2015-07-31 2019-08-27 Netapp, Inc. Snapshot restore workflow
CN105342769A (zh) * 2015-11-20 2016-02-24 宁波大业产品造型艺术设计有限公司 智能电动轮椅
US11636572B2 (en) * 2016-12-29 2023-04-25 Nokia Technologies Oy Method and apparatus for determining and varying the panning speed of an image based on saliency
US10721578B2 (en) * 2017-01-06 2020-07-21 Microsoft Technology Licensing, Llc Spatial audio warp compensator
CN110766791B (zh) * 2019-10-31 2021-04-02 吉林大学 一种粮仓信息的三维云图生成方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020118287A1 (en) 2001-02-23 2002-08-29 Grosvenor David Arthur Method of displaying a digital image

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3272584B2 (ja) * 1995-09-19 2002-04-08 シャープ株式会社 領域抽出装置及びそれを用いた方向検出装置
GB2311184A (en) * 1996-03-13 1997-09-17 Innovision Plc Motion vector field error estimation
JPH1138960A (ja) * 1997-07-14 1999-02-12 Nec Off Syst Ltd パターン生成方法および装置ならびに記録媒体
JPH1196372A (ja) * 1997-09-16 1999-04-09 Omron Corp 画像処理方法およびその装置、ならびに画像処理用の制御プログラムの記録媒体
US6201541B1 (en) * 1997-12-11 2001-03-13 Cognitens, Ltd. System and method for “Stitching” a plurality of reconstructions of three-dimensional surface features of object(s) in a scene defined relative to respective coordinate systems to relate them to a common coordinate system
US6597738B1 (en) * 1999-02-01 2003-07-22 Hyundai Curitel, Inc. Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor
US6351494B1 (en) * 1999-09-24 2002-02-26 Sony Corporation Classified adaptive error recovery method and apparatus
GB2378338A (en) * 2001-07-31 2003-02-05 Hewlett Packard Co Automatic identification of features of interest within a video signal
US7302111B2 (en) * 2001-09-12 2007-11-27 Micronic Laser Systems A.B. Graphics engine for high precision lithography
US6904151B2 (en) * 2002-01-17 2005-06-07 Deguillaume Frederic Method for the estimation and recovering of general affine transform
US20040141555A1 (en) * 2003-01-16 2004-07-22 Rault Patrick M. Method of motion vector prediction and system thereof
JP4480488B2 (ja) * 2003-08-28 2010-06-16 富士通株式会社 計測装置、コンピュータ数値制御装置及びプログラム
WO2005081178A1 (en) * 2004-02-17 2005-09-01 Yeda Research & Development Co., Ltd. Method and apparatus for matching portions of input images
US20060115145A1 (en) * 2004-11-30 2006-06-01 Microsoft Corporation Bayesian conditional random fields
US20060182339A1 (en) * 2005-02-17 2006-08-17 Connell Jonathan H Combining multiple cues in a visual object detection system
US7760956B2 (en) * 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
DE602005017376D1 (de) * 2005-06-27 2009-12-10 Honda Res Inst Europe Gmbh Räumliche Annäherung und Objekterkennung für humanoiden Roboter
TW200719281A (en) * 2005-07-28 2007-05-16 Thomson Licensing Method and device for generating a sequence of images of reduced size
US7848596B2 (en) * 2006-05-24 2010-12-07 Hewlett-Packard Development Company, L.P. Templated collage generation with occlusion costing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020118287A1 (en) 2001-02-23 2002-08-29 Grosvenor David Arthur Method of displaying a digital image

Also Published As

Publication number Publication date
GB2454397A (en) 2009-05-06
DE112007001789B4 (de) 2012-03-08
GB2454397B (en) 2011-10-19
BRPI0714106A2 (pt) 2013-01-01
KR20090026206A (ko) 2009-03-11
US7751627B2 (en) 2010-07-06
WO2008016532A2 (en) 2008-02-07
JP2009545813A (ja) 2009-12-24
JP4916548B2 (ja) 2012-04-11
DE112007001789B9 (de) 2012-06-14
DE112007001789T5 (de) 2009-08-20
US20080025639A1 (en) 2008-01-31
CN101553845A (zh) 2009-10-07
WO2008016532A3 (en) 2008-08-07
GB0902261D0 (en) 2009-03-25
CN101553845B (zh) 2013-01-02

Similar Documents

Publication Publication Date Title
KR100998428B1 (ko) 이미지 평가 방법 및 이미지 이동 결정 방법
US7668400B2 (en) Image layout constraint generation
US8625849B2 (en) Multiple camera control system
US7931602B2 (en) Gaze guidance degree calculation system, gaze guidance degree calculation program, storage medium, and gaze guidance degree calculation method
CN108960229B (zh) 一种面向多方向的文字检测方法和装置
Tanaka et al. Layout Analysis of Tree-Structured Scene Frames in Comic Images.
JP4696635B2 (ja) 画像領域の高凝縮要約画像を生成する方法、装置およびプログラム
JP5201096B2 (ja) 対話操作装置
US8711183B2 (en) Graphical user interfaces and occlusion prevention for fisheye lenses with line segment foci
EP2704055A1 (en) Determining space to display content in augmented reality
JP2010108135A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
Lu et al. Real-time video stylization using object flows
Li et al. Evaluation of labelling layout methods in augmented reality
LU102615B1 (en) Automatic centering and cropping of media elements
CN112583976B (zh) 图形码显示方法、设备及可读存储介质
Pal et al. Image retargeting through constrained growth of important rectangular partitions
Emori et al. Texture Overlay onto Deformable Surface Using Geometric Transformation.
CN115170486A (zh) 基于cnn的指甲区域检测和关键点估计方法、装置以及设备
Sasaki et al. Adaptive energy selection for content-Aware image resizing
Kilgore et al. Application of head tracking for interactive data visualization
Yonemoto A pen based tool for annotating planar objects
Ha et al. Author's Accepted Manuscript
Arnoud Faster than the fastest: using calibrated cameras to improve the fastest pedestrian detector in the west

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131104

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181112

Year of fee payment: 9