KR20140075802A - 이미지 내의 그래픽 디스플레이 윈도우의 동적 배치 방법 및 장치 - Google Patents

이미지 내의 그래픽 디스플레이 윈도우의 동적 배치 방법 및 장치 Download PDF

Info

Publication number
KR20140075802A
KR20140075802A KR1020147013517A KR20147013517A KR20140075802A KR 20140075802 A KR20140075802 A KR 20140075802A KR 1020147013517 A KR1020147013517 A KR 1020147013517A KR 20147013517 A KR20147013517 A KR 20147013517A KR 20140075802 A KR20140075802 A KR 20140075802A
Authority
KR
South Korea
Prior art keywords
image
window
options
pixel values
geometry
Prior art date
Application number
KR1020147013517A
Other languages
English (en)
Inventor
아라빈드 사운다라라잔
Original Assignee
모토로라 모빌리티 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모토로라 모빌리티 엘엘씨 filed Critical 모토로라 모빌리티 엘엘씨
Publication of KR20140075802A publication Critical patent/KR20140075802A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement

Abstract

이미지 내의 그래픽 디스플레이 윈도우를 동적 선택하는 방법(800)이 개시된다. 이미지에 대해 공간 그레디언트 측정이 수행된다(805). 이미지에 대한 컨볼루션된 픽셀 값들이 계산된다(810). 계산된 컨볼루션된 픽셀 값들을 사용하여 복수의 윈도우 위치 옵션에 대한 복수의 이미지 특징이 결정된다(815). 복수의 윈도우 위치 옵션은 그래픽 디스플레이의 기하학 구조를 수용할 수 있는 기하학 구조를 갖는다. 복수의 이미지 특징에 기반하여 복수의 윈도우 위치 옵션 중 하나에 그래픽이 배치된다(820).

Description

이미지 내의 그래픽 디스플레이 윈도우의 동적 배치 방법 및 장치{METHOD AND APPARATUS FOR DYNAMIC PLACEMENT OF A GRAPHICS DISPLAY WINDOW WITHIN AN IMAGE}
현재, 스트리밍 동영상을 렌더링하는 디바이스들은 소정의 윈도우 슬롯들에서 오버라잉(overlying) 그래픽을 렌더링할 수 있다. 그래픽은 캡션(EIA-608 및 EIA-708 디지털 폐쇄 자막) 형태, 및 프레임 프리젠테이션 시간(frame Presentation Time)과 관련된 다른 온-스크린 디스플레이(OSD) 형태일 수 있다. 이들 캡션 및 OSD의 위치들이 사전에 결정되기 때문에, 여러 경우에, 비디오 윈도우의 일부 관심 부분은 동작 중에 그래픽 디스플레이에 의해 커버될 수 있다. 이는 여러 경우, 특히 더 큰 비트맵이 렌더링될 수 있는 708 데이터의 경우에 사용자를 불만족스럽게 만든다.
현재 그래픽 솔루션들은 사전에 결정된 배치를 채택하기 때문에, 그래픽 디스플레이가 언더라잉(underlying) 이미지(들)의 중요 정보를 커버할 수 있는 상황들을 최소화하는 방식이 현재 존재하지 않는다. 이에 따라, 언더라잉 비디오를 덜 방해하는 위치에 그래픽 디스플레이 윈도우를 배치하는 솔루션을 개발할 기회가 존재한다.
본 발명의 앞서 인용된 특징들이 상세히 이해될 수 있도록, 앞서 간략히 요약된 본 발명에 대한 더 구체적인 설명은 실시예들을 참조하여 설명될 것이며, 실시예들 중 일부는 첨부 도면에 의해 예시된다.
그러나, 첨부 도면들은 본 발명의 통상적인 실시예만을 예시하며, 따라서 본 발명의 범위를 제한하는 것으로 간주되지 않아야 하는데, 그 이유는 본 발명이 다른 동등한 효과적인 실시예들을 인정할 수 있기 때문이다.
도 1은 미디어 콘텐츠를 스트리밍하거나 브로드캐스팅하는 예시적인 시스템(100)을 나타낸다.
도 2는 원 이미지(210) 및 에지 검출 이미지(205)의 일례를 나타낸다.
도 3, 도 4, 및 도 5는 에지 검출을 수행하는 예시적인 방법들을 나타낸다.
도 6은 예시적인 소벨 마스크(Sobel Mask; 600)를 나타낸다.
도 7은 일 실시예에 따른 소벨 방법 분석(Sobel Method analysis)을 나타낸다.
도 8은 일 실시예에 따른 이미지의 그래픽 디스플레이 윈도우를 동적 선택하는 방법(800)을 나타낸다.
도 9는 4개의 윈도우 또는 사분면(quadrant)을 갖는 이미지의 일 실시예(900)를 나타낸다.
도 10은 4개의 윈도우 또는 사분면을 갖는 이미지의 일 실시예(1000)를 나타낸다.
도 11은 일 실시예에 따른 그래픽 디스플레이 윈도우를 동적 선택하는 방법(1100)을 나타낸다.
도 12는 일 실시예에 따른 예시 디바이스(900)의 블록도를 나타낸다.
본 개시의 목적을 위해, 이미지 또는 “이미지 데이터”는, 실시간(live) 또는 미리 기록되어 있을 수 있는, 스트리밍 또는 브로드캐스팅 미디어 콘텐츠의 프레임을 지칭한다. 또한, 그래픽 또는 “그래픽 데이터”는 폐쇄 캡션 정보를 지칭한다. 폐쇄 자막 정보 또는 데이터는 (예를 들어, 비디오 또는 비디오 데이터로서) 이미지 데이터 시퀀스를 오버레이할 수 있다.
이미지 내의 그래픽 디스플레이 윈도우를 동적으로 배치하는 방법이 개시된다. 그래픽 디스플레이 윈도우는 폐쇄 자막 그래픽의 배치의 경계들을 결정한다. 폐쇄 캡션 모드가 텍스트의 최대 4 행 및 32 열을 허용하면(예를 들어, 롤-업 모드), 그래픽 디스플레이 윈도우는 이러한 기하학 구조를 수용할 것이고, 텍스트는 이러한 윈도우 내에 배치될 것이고, 또한 디스플레이되어 있는 이미지에 중첩될 것이다.
이미지는 실시간으로 제공되는 복수의 비디오 프레임 중 하나일 수 있다. 일 실시예에서, 공간 그레디언트 측정이 이미지에 대해 수행된다. 이미지에 대한 콘볼루션된 픽셀 값들이 계산된다. 계산된 회선 픽셀 값들을 사용하여 복수의 윈도우 위치 옵션에 대한 복수의 이미지 특징이 결정된다. 복수의 윈도우 위치 옵션은 디스플레이된 그래픽을 수용할 수 있는 기하학 구조를 갖는다. 그래픽 디스플레이는 복수의 이미지 특징에 기반하여 복수의 윈도우 위치 옵션 중 하나에 배치된다. 일 실시예에서, 그래픽 디스플레이는 이들로 제한되는 것은 아니지만, 팝-업(pop-up), 롤-온(roll-on), 및 페인트-온(paint-on)을 포함하는 다양한 모드를 사용하여 제공될 수 있다.
이미지 특징은 이미지 내의 에지 또는 에지 픽셀의 양일 수 있다. 이 방법을 사용하면, 특별한 그래픽 디스플레이 윈도우 기하학 구조를 갖는 폐쇄 자막 또는 그래픽 데이터가, 적어도 그래픽 디스플레이 윈도우만큼 큰 형상을 갖고, 그래픽 디스플레이 윈도우 기하학 구조를 갖는 이미지에서의 다른 위치들에 비해 최소 개수의 에지 또는 에지 픽셀을 갖는 이미지의 영역에 오버레이될 수 있다.
또한, 이미지 특징은 이미지 내의 정보량일 수 있다. 이와 유사하게, 폐쇄 자막 데이터는 그래픽 데이터 기하학 구조를 수용하고, 폐쇄 자막 데이터 기하학 구조를 갖는 이미지의 다른 위치에 비해 최소량의 정보를 갖는 이미지의 영역에 배치될 수 있다.
예를 들어, 비디오 프레임 시퀀스를 위한 둘 이상의 이미지에 대해 에지 검출이 발생할 수 있다는 점에 유의한다. 복수의 윈도우 위치 옵션에 대한 복수의 누적 이미지 특징이 시퀀스 비디오 프레임들에 대해 결정된다. 이에 따라, 비디오의 세그먼트 중에, 그래픽 데이터를 수용하고 비디오 세그먼트의 기간 중에 최소 개수의 에지 및/또는 최소량의 정보를 갖는 영역에 그래픽 데이터가 배치될 수 있다. 그래픽 디스플레이는 이들로 제한되는 것은 아니지만, 롤-온(roll-on), 페인트-온(paint-on), 및 팝업(pop-up)을 포함하는 상이한 모드들을 사용하여 제공될 수 있다.
이 방법이 사용되는 경우 그래픽 데이터가 비디오 이미지 주변에서 “점프”할 수 있기 때문에, 그래픽 디스플레이 윈도우의 동적 배치는 사용자 입력을 통해 수신된 선택에 의해 인에이블 및 디스에이블될 수 있다. 또한, 그래픽 디스플레이 윈도우의 동적 배치는 또한(또는 대안으로) 소정의 비디오 프레임 시퀀스에서의 모션의 양 또는 정보 변화의 양에 기반하여 자동으로 디스에이블되고 인에이블될 수도 있다. 동적 배치가 디스에이블되는 경우, 그래픽 디스플레이 윈도우는 이미지 상의 동일한 영역에 남으며, 이는 가장 최근에 배치된 윈도우 또는 디폴트 위치(예를 들어, 이미지의 상단 또는 하단 마진)일 수 있다.
그래픽 디스플레이 윈도우가 이미지 상의 임의의 지점에 배치될 수 있기 때문에, 비교될 이미지 특징들을 갖는 많은 개수의 가능한 배치 옵션들이 존재할 수 있다(윈도우가 작을수록 이미지 내에 배치될 수 있는 위치가 많음). 비교 횟수를 줄이기 위해, 다른 실시예에서, 이미지의 소정 영역들이 분석된다. 이들 소정 영역은 정적으로 위치하여 중첩되지 않거나 중첩될 수 있다. 그 후, 그래픽 윈도우 배치를 위한 모든 가능성의 이미지 특징들을 비교하는 대신에, 소정의 영역들만을 위한 이미지 특징들이 비교된다. 최소 개수의 에지 또는 최저량의 정보를 갖는 단일의 소정의 영역 내에, 그래픽 디스플레이 윈도우는 최소 개수의 에지 또는 최저량의 정보를 갖는 서브 영역에 배치된다. 이에 따라, 이러한 2-레벨 분석은 더 빠르지만, 그래픽 디스플레이 윈도우를 소정의 영역 중 하나 내로 제한한다. 그래픽 디스플레이는 이들로 제한되는 것은 아니지만, 롤-온(roll-on), 페인트-온(paint-on), 및 팝업(pop-up)을 포함하는 상이한 모드들을 사용하여 제공될 수 있다.
이미지를 위한 그래픽 디스플레이 윈도우를 동적 선택하는 장치가 개시된다. 장치는 메모리를 갖는다. 이러한 장치는 또한 이미지에 대해 2차원 공간 그레디언트 측정을 수행하고; 이미지에 대한 컨볼루션된 픽셀 값들을 계산하고; 계산된 컨볼루션된 픽셀 값들을 사용하여 복수의 윈도우 위치 옵션에 대한 복수의 이미지 특징을 결정하고 - 복수의 윈도우 위치 옵션은 그래픽 디스플레이의 기하학 구조를 수용할 수 있는 기하학 구조를 가짐 -; 그리고 복수의 이미지 특징에 기반하여 복수의 윈도우 위치 옵션 중 하나에 폐쇄된 캡셔닝 또는 그래픽 디스플레이를 배치하도록 구성된 프로세서를 갖는다.
또한, 프로세서에 의해 실행되는 경우 다음의 방법, 즉 이미지에 대해 2차원 공간 그레디언트 측정을 수행하는 단계; 이미지에 대한 컨볼루션된 픽셀 값들을 계산하는 단계; 계산된 컨볼루션된 픽셀 값들을 사용하여 복수의 윈도우 위치 옵션에 대한 복수의 이미지 특징을 결정하는 단계 - 복수의 윈도우 위치 옵션은 그래픽 디스플레이의 기하학 구조를 수용할 수 있는 기하학 구조를 가짐 -; 및 복수의 이미지 특징에 기반하여 복수의 윈도우 위치 옵션 중 하나에 폐쇄된 캡셔닝 또는 그래픽 디스플레이를 배치하는 단계를 수행하는 명령어들을 갖는 비일시적 컴퓨터 판독가능 저장 매체가 개시된다.
본 개시는 최소 정보를 갖는 이미지 프레임의 영역에 그래픽 디스플레이 윈도우를 배치하려고 한다. 일 실시예에서, 이는 에지 검출 방법을 사용하여 행해지는데, 여기서 최소 개수의 검출 에지를 갖는 윈도우가 선택된다. 본 개시는 프레임 프리젠테이션 시간 스탬프와 관련된 그래픽으로 제한되지 않으며, 임의의 타입의 그래픽 디스플레이 스크린으로 확장될 수 있다. 또한, 본 개시가 폐쇄 자막을 그래픽의 주된 예시로서 참고함에도 불구하고, 여기에 개시된 방법들은 미디어 콘텐츠에서 개방 캡션, 예를 들어, 자막 또는 다른 타입의 그래픽, 예를 들어, 텔레비전 네트워크 로고 또는 스포츠 팀 로고의 동적 또는 자동 배치에 적용될 수도 있다.
도 1은 미디어 콘텐츠를 스트리밍하거나 브로드캐스팅하는 예시적인 시스템(100)을 나타낸다. 콘텐츠 제공자(105)는 최종 사용자 디바이스(115)에 네트워크(110)를 통해 미디어 콘텐츠를 스트리밍한다. 콘텐츠 제공자(105)는 위성 텔레비전 시스템 또는 다중 시스템 운영자(MSO)의 헤드엔드, 또는 서버, 예를 들어, 미디어 서버 또는 VOD(Video on Demand) 서버일 수 있다. 네트워크(110)는 인터넷 프로토콜(IP) 기반 네트워크일 수 있다. 네트워크(110)는 또한 텔레비전 콘텐츠를 브로드캐스팅하는데 사용된 브로드캐스트 네트워크일 수도 있으며, 여기서 콘텐츠 제공자(105)는 케이블 또는 위상 텔레비전 제공자이다. 또한, 네트워크(110)는 유선, 예를 들어, 광섬유, 동축, 또는 무선 액세스 네트워크, 예를 들어, 3G, 4G, WiMAX(Worldwide Interoperability for Microwave Access), HSPA(High Speed Packet Access), HSPA+, 및 LTE(Long Term Evolution)일 수 있다. 최종 사용자 디바이스(115)는 셋톱 박스(STB), PDA(personal digital assistant), DVR(digital video recorder), 컴퓨터, 또는 모바일 디바이스, 예를 들어 랩톱, 넷북, 태블릿, 휴대용 미디어 플레이어, 또는 무선 전화기일 수 있다. 일 실시예에서, 최종 사용자 디바이스(115)는 STB 및 DVR로서 기능을 한다. 또한, 최종 사용자 디바이스(115)는 별도의 유무선 연결 또는 네트워크(120)를 통해 블루투스, WLAN(Wireless Local Area Network) 프로토콜과 같은 다양한 프로토콜을 통해 다른 최종 사용자 디바이스(125)와 통신할 수 있다. 최종 사용자 디바이스(125)는 최종 사용자 디바이스(115)와 유사한 디바이스를 포함할 수 있다. 일 실시예에서, 최종 사용자 디바이스(115)는 STB이고, 다른 최종 사용자 디바이스(125)는 DVR이다.
디스플레이(140)는 별도의 네트워크 또는 연결(120)을 통해 최종 사용자 디바이스(115 및 125)에 결합된다. 디스플레이(140)는 동적 선택된 그래픽 디스플레이 윈도우를 갖는 하나 이상의 이미지로 구성된 멀티미디어 콘텐츠를 제공한다. 하나 이상의 이미지는 최종 사용자 디바이스(115 및 125) 또는 콘텐츠 제공자(105)에 의해 생성될 수 있다. 하나 이상의 이미지는 비디오 프레임, 예를 들어 시퀀스로 디스플레이되는 경우 모션의 환영(illusion)을 생성하는 일련의 이미지들의 단일 이미지일 수 있다.
원격 제어부(135)는 최종 사용자 디바이스(115 및 125) 및 디스플레이(140)를 제어하도록 구성될 수 있다. 원격 제어부(135)는 디스플레이(140)에 최종 사용자 디바이스(115 및 125)에 의해 사용자에게 제공된 다양한 옵션들을 선택하도록 사용될 수 있다.
도 2는 원 이미지(210) 및 에지 검출 이미지(205)의 일례를 나타낸다. 에지들은 경계들을 특징 지우며, 이에 따라 이미지 프로세싱에서 근본적으로 중요한 문제이다. 이미지들에서의 에지들은 강력한 강도 대조, 예를 들어 하나의 픽셀로부터 다른 픽셀로의 강도의 점프를 갖는 영역들이다. 이미지를 검출하는 에지는 이미지에서 데이터의 양을 상당히 감소시키고, 이미지에서 중요 구조적 특성들을 보전하면서 덜 유용한 정보를 필터링하는 이미지 압축 알고리즘들에서 일반적인 관습이다. 다양한 에지 검출 알고리즘은 본 개시에서 사용되고 렌더링된 이미지 콘텐츠를 분석하는 데 사용될 수 있다.
특정 윈도우 기하학 구조(직사각형 윈도우 옵션(222, 226, 232, 236)의 기하학 구조)를 갖는 폐쇄 캡션 또는 그래픽 디스플레이를 고려하면, 더 적은 에지 픽셀을 갖는 이미지들의 영역에 그래픽 윈도우를 배치하는 것은 더 많은 에지 픽셀을 갖는 영역보다 안전하다고 추정될 수 있다. 예를 들어, 여러 윈도우 위치 옵션(222, 226, 232, 236)이 도 2에 도시되어 있다. 실제로, 훨씬 더 많은 옵션이 이용될 수 있다. 명확히, 예를 들어, 윈도우 위치 옵션(236)은 다른 윈도우 위치 옵션들(222, 226, 및 232)보다 더 많은 에지를 갖는다. 이러한 특정 이미지(210)에서, 가장 적은 에지를 갖는 윈도우 옵션(222)은 폐쇄 캡션 또는 그래픽이 배치될 위치이다.
뉴스 또는 토크 쇼와 같이 더 적은 모션이 존재하는 비디오 세그먼트들에서 에지 검출이 유용하다. 비디오 프레임 시퀀스에 따라, 오버라잉 그래픽 디스플레이의 위치는 여러 프레임 위에 옵션(222) 위치에 존재하거나, 옵션(222)으로부터 옵션(232)으로 점프한 후 돌아올 수 있다. 그래픽 디스플레이 윈도우의 배치 변화가 사용자를 짜증나게 하면, 사용자는 최소량의 에지 또는 정보가 존재하는 영역에 제공되는 그래픽을 갖는 것을 인에이블하고 디스에이블할 수 있다. 소정의 비디오 프레임 시퀀스의 모션 및 정보 변화가 일정 임계치를 초과했다고 디코더가 검출하는 경우 그래픽 디스플레이 윈도우의 동적 선택의 인에이블 및 디스에이블은 또한(또는 대안으로) 디코더 자체에 의해 제어될 수 있다.
도 3, 도 4, 및 도 5는 에지 검출을 수행하는 예시적인 방법들을 나타낸다. 에지 검출을 수행하는 여러 방식이 존재한다. 그러나, 상이한 방법들의 대다수는 2개의 카테고리, 즉 그레디언트(gradient) 및 라플라시안(Laplacian)으로 그룹화될 수 있다. 그레디언트 방법은 이미지의 1차 도함수에서 최댓값 및 최솟값을 찾음으로써 에지들을 검출한다. 라플라시안 방법은 이미지의 2차 도함수에서 제로 크로싱을 검색하여 에지를 찾는다. 에지는 경사로(ramp)의 1차원 형상을 가지며, 이미지의 도함수를 계산하는 것은 그것의 위치를 강조할 수 있다.
도 3은 1차원 연속 신호 f(t)의 그래프(300)를 나타낸다. 도 4는 그래프(300)에 도시된 신호의 그레디언트의 그래프(400)를 나타낸다. 1차원에서, 그래프(300)에서 신호의 그레디언트는 t에 대한 1차 도함수이다. 그래프(400)는 1차 도함수를 나타내는 신호를 나타낸다.
명확히, 도함수 신호는 원 신호에서 에지의 중심에 위치한 최댓값을 도시한다. 에지의 위치를 찾는 이러한 방법은 에지 검출 필터들의 “그레디언트 필터” 패밀리의 특징이고, 소벨 방법을 포함한다. 그레디언트의 값이 약간의 임계치를 초과하면 픽셀 위치가 에지 위치라고 선언된다. 전술한 바와 같이, 에지를 갖는 픽셀들은 에지 없는 주변 픽셀들보다 높은 픽셀 강도 값을 가질 것이다. 따라서, 일단 임계치가 설정되면, 그레디언트 값은 임계값과 비교될 수 있고, 임계치가 초과될 때마다 에지가 검출될 수 있다. 게다가, 1차 도함수가 최대인 경우, 2차 도함수는 영(zero)이다.
그 결과, 에지의 위치를 찾는 다른 대안은 2차 도함수에서 영의 위치를 찾는 것이다. 이 방법은 라플라시안 방법으로 알려져 있다. 도 5는 그래프(300)에서 신호의 2차 도함수를 나타낸 그래프(500)를 나타낸다. 영의 값을 갖는 그래프(500)에서의 신호의 위치는 에지를 나타낸다.
본 개시는 에지들을 검출하기 위해 소벨 방법을 활용한다. 그래픽 디스플레이 윈도우를 동적 선택하기 위해 본 개시에서 활용될 수 있는 에지들을 검출하는 여러 방법이 존재한다. 에지들을 검출하는 소벨 방법은 여기에 일례로서 사용된다.
전술한 1차원 분석에 기반하여, 2차원 이미지의 도함수를 계산하기 위한 정확한 근사화가 존재하는 한 이론은 2차원에 적용될 수 있다. 소벨 연산자는 이미지에 대해 2D 공간 그레디언트 측정을 수행하고 에지들에 대응하는 높은 공간 주파수의 영역들을 강조한다. 프레임을 위한 마스크를 사용하여 컨볼루션이 수행된다. 본 실시예에서, 소벨 마스크는 컨볼루션을 수행하는데 사용된다. 통상적으로, 소벨 마스크는 입력 그레이스케일 이미지에서 지점마다 대략적인 절대적 그레디언트 크기를 찾는데 사용된다.
도 6은 소벨 마스크를 나타낸다. 소벨 에지 검출기는 3×3 컨볼루션 마스크(600) 쌍을 사용하는데, 하나는 x방향(열)으로 그레디언트를 추정하고, 다른 하나는 y방향(행)으로 그레디언트를 추정한다. 보통 컨볼루션 마스크는 실제 이미지보다 더 작다. 그 결과, 마스크는 이미지 위에 미끄러지며, 픽셀 스퀘어(square of pixels)를 한꺼번에 조작한다. 일 실시예에서, 디코더는 디코딩 프레임의 휘도 부분(Luminance portion)에 대한 소벨 방법을 수행한다.
그 후, 그레디언트의 크기는 다음의 수학식을 이용하여 계산된다:
Figure pct00001
여기서
대략적인 크기가 다음의 수학식을 사용하여 계산될 수 있다:
Figure pct00002
도 7은 일 실시예에 따른 소벨 방법 분석(Sobel Method analysis)을 나타낸다. 마스크는 입력 이미지의 영역 위에 미끄러지고, 픽셀의 값을 변경하고, 하나의 픽셀을 오른쪽으로 시프트하여 마스크가 행의 끝에 도달할 때까지 계속 오른쪽으로 이동한다. 그 후, 마스크는 다음 행의 시작에서 개시한다. 도 7에 예시된 예는 점선의 아웃라인에 의해 표현된 입력 이미지(705)의 좌상부 위에서 미끄러지는 마스크(710)를 도시한다. 수학식은 출력 이미지(715)에서 (점선으로 표현된) 특정 픽셀(b22)이 계산되는 방법을 보여준다. 마스크의 중심은 이미지에서 조작되는 픽셀 위에 배치된다. I & J 값들은 예를 들어, 픽셀(a22)에 대응 마스크 값(m22)을 곱하기 위해 파일 포인터를 이동시키는데 사용된다. 처음 열 및 마지막 열뿐 아니라 처음 행 및 마지막 행의 픽셀들은 3×3 마스크에 의해 조작될 수 없다는 것에 유의하는 것이 중요하다. 이는 (예를 들어) 제1 행에서 픽셀 위에 마스크의 중심을 배치하는 경우 마스크가 이미지 경계 외부에 있을 것이기 때문이다. 이 예시에서, 출력 이미지(715)의 픽셀(b22)은 다음과 같이 계산될 것이다.
Figure pct00003
도 8은 일 실시예에 따른 이미지의 그래픽 디스플레이 윈도우를 동적 선택하는 방법(800)을 나타낸다. 단계(805)에서, 공간 그레디언트 측정이 이미지에 대해 수행된다. 일 실시예에서, 공간 그레디언트 측정은 2차원 공간 그레디언트 측정이다.
단계(810)에서, 이미지에 대한 컨볼루션된 픽셀 값들이 계산된다. 이미지에 마스크를 이용함으로써 컨볼루션된 픽셀 값들이 계산된다. 일 실시예에서, 마스크는 소벨 마스크이다.
단계(815)에서, 계산된 컨볼루션된 픽셀 값들을 사용하여 복수의 윈도우 위치 옵션에 대한 복수의 이미지 특징이 결정된다. 복수의 윈도우 위치 옵션은 그래픽 디스플레이의 기하학 구조를 수용할 수 있는 기하학 구조를 갖는다. 이미지 특징은 다수의 에지 또는 에지 픽셀, 정보 량, 또는 이들 2개의 옵션에 대한 대안들일 수 있다.
단계(820)에서, 복수의 이미지 특징에 기반하여 복수의 윈도우 위치 옵션 중 하나에 그래픽, 예를 들어 폐쇄 자막 데이터가 배치된다. 본 개시의 목적으로, “폐쇄 자막 또는 그래픽 데이터의 기하학 구조”라는 용어는 소정의 캡셔닝 모드에서 수용 가능한 텍스트 라인들의 개수 및 각 텍스트 라인의 수용 가능 라인 폭을 지칭할 수 있다. 캡셔닝 모드의 예시들은 “롤 온(Roll On)”, “팝 업(Pop Up”, 및 “페인트 온(Paint ON)”이다.
일 실시예에서, 방법(800)은 비디오 스트림에서 이미지/프레임마다 선택된 윈도우 위치 옵션을 결정하는 순환적인 방법이다. 다른 실시예에서, 방법(800)은 옵션 단계(817)를 사용하여 여러 비디오 이미지, 예를 들어 비디오 스트림에서의 비디오 프레임 시퀀스에 대해 축적된 이미지 특징 정보(누적 이미지 특징들)에 기반하여 선택된 윈도우 위치 옵션을 결정하는 순환적인 방법이다. 옵션 단계(817)가 사용되는 일 실시예에서, 비디오 프레임 시퀀스는 비디오 스트림에서 장면 변화(큰 정보 변화) 이후의 일련의 비디오 프레임에 대응한다.
일 실시예에서, 이미지 특징은 이미지에서의 에지의 양이다. 이미지에서의 에지의 양은 임계 값을 초과하는 컨볼루션된 픽셀 값을 갖는 픽셀들을 에지들로 카운트함으로써 계산될 수 있다. 통상적인 에지 임계치들은 그레이스케일 이미지에 대해 [80,120] 사이에서 선택된다.
일부 경우에, 렌더링된 이미지, 예를 들어, 프레임은 이러한 프레임에 걸쳐 더 많은 에지를 갖는다. 프레임은 다른 이전 프레임보다 더 많은 콘텐츠 또는 오브젝트를 가질 수 있다. 이러한 상황은 현재 샷(shot), 예를 들어 이미지 또는 프레임이 클로즈업 샷이라는 것을 의미할 수 있다.
일 실시예에서, 그래픽은 최소 개수의 에지를 갖는 이미지의 영역에 배치된다. 야외 스포츠 프로그램, 예를 들어 야구의 경우, 사용자는 그라운드를 더 많이 보기를 원할 수 있다 - 그라운드 영역의 대부분은 어떠한 에지도 드러내지 않을 것이다. 투구(pitch)의 중심은 여러 에지를 가질 수 있다. 더 가까운 각도의 카메라 뷰는 프레임을 통해 확산된 더 많은 에지를 보여줄 수 있다. 타자, 주요 투구, 플라이 볼 캐치 등과 같은 임의의 중요 뷰를 제거함이 없이, 확실히 최소 정보를 갖는 영역이 선택되는 경우에 그래픽 렌더링이 효과적으로 행해질 수 있다.
일 실시예에서, 복수의 프레임에 대해 검출된 정보로 인해 특정 윈도우 위치 옵션이 선택될 수 있다. 예를 들어, 골프 방송 중에, 하늘 또는 그린을 배경으로 하는 스크린을 가로질러 골프 공이 이동한다. 이 경우, 복수의 프레임을 통해 검출된 공의 모션으로 인해 특정의 윈도우 위치 옵션들이 선택될 가능성이 더 낮을 것이다. 일련의 이미지를 통해, 골프 공이 스크린의 우하부로부터 스크린의 좌상부로 가로지르면, 여러 윈도우 위치 옵션들은 최소 개수의 에지 픽셀(예를 들어, 우하, 중심, 및 좌상)을 가질 것 같지 않다. 그 후, 그래픽 디스플레이는 특정 골프 샷 중에 좌하 윈도우 위치 옵션들 또는 우상 윈도우 위치 옵션들에 배치될 수 있다.
캡션들이 팝-업 스타일이면, 여러 에지와 교차하지 않고 공지된 길이의 단일 라인이 스크린의 더 낮은 마진에 배치될 수 있다(“프리스타일” 윈도우 배치를 사용하여 결정되거나, 복수의 사전 선택된 윈도우 옵션 중 하나를 사용하여 결정됨). 캡션들이 (깊이가 최대 4개의 행 및 폭이 최대 32개의 열) 롤-온이면, 윈도우는 이미지들의 골프 샷 시퀀스 중에 주의 깊게 배치될 필요가 있다. 모든 윈도우 배치 옵션들이 임계 개수의 검출 에지 픽셀들보다 크면, 캡션들은 최소 에지 픽셀들을 가진 윈도우 위치 옵션보다는 오히려 디폴트 위치에 배치될 수 있다.
일 실시예에서, 이미지 특징은 이미지에서의 에지의 양이다. 일 실시예에서, 그래픽은 최소 양의 정보를 갖는 이미지의 영역에 배치된다. 뉴스 텔레비전 방송과 같은 프로그램에서, 통상적으로 특정 위치 이외에 관찰되는 모션이 매우 작다. 일례는 이미지의 하단에서 실행되는 자막 뉴스(ticker)를 갖는 뉴스 텔레비전 방송이다. 이 경우에, (예를 들어, 이미지의 상단에 따라) 최소 정보를 갖는 영역에서 그래픽을 배치하는 것이 매우 유용할 것이다. 많은 모션을 갖는 시퀀스들의 경우, 사용자는 그래픽 디스플레이 윈도우의 동적 선택을 디스에이블하도록 선택할 수 있다. 대안으로, 프로세서는 이미지 특징들이 임계치보다 더 크면 그래픽 디스플레이 윈도우의 동적 선택을 디스에이블할 수 있다.
일 실시예에서, 이미지는 실시간으로 제공되는 복수의 비디오 프레임 중 하나이다. 그래픽 디스플레이 윈도우의 동적 배치는 사용자 입력을 통해 수신된 선택들에 의해 제어될 수 있다. 프레임에서의 에지들이 디코더로 하여금 설정 시간 제한 동안 프레임들의 시퀀스 내에 동일한 기하학 구조를 갖는 그래픽을 재배치하도록 허가하지 않는다고 디코더가 결정하는 경우, 그래픽 디스플레이 윈도우의 동적 배치는 자동으로 디스에이블되지 않을 수 있다. 이 경우, 자동 재배치는 디코더에 의해 턴오프될 수 있고, 그래픽은 프로토콜에 의해 특정된 디폴트 위치에서 렌더링될 수 있다. 자동 재배치가 턴오프된 후, 사용자는 차후에 자동 재배치를 인에이블할 수 있다. 장면에 여러 액션이 존재하거나, 다수의 상세부를 갖는 클로즈업 샷이 존재하는 경우 이러한 시나리오는 가능하다.
일 실시예에서, 그래픽은 그래픽, 예를 들어 실제 폐쇄 자막 데이터의 기하학 구조를 수용할 수 있는 최소량의 에지를 갖는 이미지의 영역에 배치된다. 이 실시예(예를 들어, 팝-업)에서, 특정한 최소 에지 위치는 그래픽의 정확한 기하학 구조에 부합한다. 본 실시예의 경우, 최소 에지 선택 위치가 그래픽의 정확한 기하학 구조에 부합하기 때문에, 최소 에지 선택 위치가 너무 작아서 폐쇄 캡션 데이터의 소정의 기하학 구조에 적합할 수 없는 상황이 존재하지 않을 것이다. 그러나, 최소 에지 옵션이 임계 개수의 에지 픽셀보다 크면, 디코더는 그래픽 데이터를 디스플레이하기 위한 디폴트 위치를 선택할 수 있다.
일 실시예에서, 이미지 내의 윈도우 배치 옵션들의 개수를 제한하기 위한 사전 선택 영역들이 정의될 수 있다. 예를 들어, 이미지, 예를 들어 프레임이 4개의 사분면으로 분할될 수 있다. 최소 에지/정보 검출 방법은 이들 사전 선택된 사분면에서만 초기에 동작할 것이고, 그 후 폐쇄 자막 데이터를 배치할 때 하나의 선택된 사분면 내에 동작할 것이다.
도 9는 윈도우 위치 옵션들을 위한 사전 선택 영역들을 갖는 이미지의 일 실시예(900)를 나타낸다. 본 실시예에서, 사전 선택된 영역들은 2×2 행렬과 비슷한 4개의 영역 또는 사분면이다. 이미지 또는 프레임(905)은 4개의 사분면(910, 915, 920, 및 925)으로 분할된다. 에지 검출은 프레임마다 행해진다. 최소 에지 및/또는 정보를 갖는 사분면은 그래픽 디스플레이 윈도우의 배치를 위해 선택된다. 선택된 사분면 내에서, 그래픽 디스플레이 윈도우는 도 8을 참조하여 이미 설명된 바와 같이 동적 배치될 수 있다(단계(815)에서 시작되고, 선택된 사분면 내에 복수의 윈도우 위치 옵션을 국한시킴). 이로 인해, 도 9는 영역(910) 내의 4개의 예시적인 그래픽 디스플레이 윈도우 배치 옵션들을 보여준다. 실제로, 훨씬 더 많은 옵션이 이용될 수 있다.
도 10은 윈도우 위치 옵션들을 위한 사전 선택 영역들을 갖는 이미지의 다른 실시예(1000)를 나타낸다. 본 실시예에서, 윈도우 위치 옵션들은 1×4 행렬과 비슷한 4개의 영역 또는 사분면이다. 이미지 또는 프레임(1005)은 4개의 사분면(1010, 1015, 1020, 및 1025)으로 수평 분할된다. 에지 검출은 프레임마다 행해진다. 최소 에지 및/또는 최소량의 정보를 갖는 사분면은 그래픽 디스플레이 윈도우의 배치를 위해 선택된다. 선택된 사분면 내에서, 그래픽 디스플레이 윈도우는 도 8을 참조하여 이미 설명된 바와 같이 동적 배치될 수 있다(단계(815)에서 시작되고, 선택된 사분면 내에 복수의 윈도우 위치 옵션을 국한시킴). 이로 인해, 4개의 그래픽 디스플레이 윈도우 옵션들은 사분면(1010)에 예로서 도시되어 있다. 실제로, 훨씬 더 많은 옵션이 이용될 수 있다.
도 9 및 도 10이 4개의 사전 선택 영역을 도시함에도 불구하고, 다른 개수(2 이상)의 영역이 구현될 수 있다. 또한, 도 9 및 도 10이 균일한 사이즈 및 기하학 구조의 영역을 도시함에도 불구하고, 다른 구현예에서, 영역들은 상이한 사이즈 및/또는 형상을 가질 수 있다. 또한, 영역들은 도 9 및 도 10에 도시된 바와 같이 중첩되지 않는 대신에 중첩될 수 있다.
ATVCC(Advanced Television Closed Captioning) 표준이 9600 bits/sec을 허용하고, 이중 EIA(Electronic Industries Alliance) 608(아날로그 캡션들)이 960bps일 수 있다. EIA 708은 8640bps를 나를 수 있고, 이는 60Hz에서 프레임마다 폐쇄 자막을 위해 할당된 20바이트를 가질 수 있다는 것을 의미한다.
도 11은 일 실시예에 따른 그래픽 디스플레이 윈도우를 동적으로 배치하는 방법(1100)을 나타낸다. 단계(1110)에서, 폐쇄 캡션 모드가 결정된다. 캡션들이 “롤 온”(1115), “페인트 온”(1125), 또는 “팝 업”(1120) 모드에서 디스플레이될 수 있다. 캡셔닝 모드에 기반하여, 윈도우 기하학 구조가 예비적으로 확립될 수 있다.
롤 온 모드(1113)는 실시간 이벤트 중에 메시지들의 이해를 용이하게 하도록 고안되었다. 다음 라인이 바로 아래 나타남에 따라 캡션들이 좌로부터 제거되어 롤업된다. 1개, 2개, 3개, 또는 4개의 라인은 통상적으로 동시에 스크린에 유지된다. 그래픽들은 깊이가 최대 4개의 라인일 수 있기 때문에, 그래픽 디스플레이 윈도우는 깊이가 최대 4개의 행일 수 있고, 폭이 최대 32개의 열일 수 있다. 롤-온 모드에서 그래픽 디스플레이 윈도우의 기하학 구조가 이하 설명될 그 밖의 2개의 모드에 비해 잠재적으로 더 크다는 점에 유의한다.
페인트 온 모드(1115)에서, 텍스트의 단일 라인이 좌에서 우로 스크린에서 제거된다. 텍스트의 컴플리트 싱글 라인(complete single line)은 잠시 스크린에 남은 후 사라진다. 페인트 온 모드에서, 라인 길이가 증가할 수 있다. 이에 따라, 컨트롤러는 그래픽 디스플레이 윈도우 기하학 구조를 결정할 때 최장 가능 라인 길이를 차지할 것이다. 예를 들어, 페인트 온 모드에서, 그래픽 디스플레이 윈도우는 깊이가 1개의 행이고 폭이 32개의 열로 설정될 수 있다.
팝업 모드(1117)는 일반적으로 모드들(1113 및 1115)보다 관측자에게 덜 산만하게 하고; 그러나 컴플리트 라인은 라인의 임의의 일부를 렌더링하기 전에 스크린 외부에서 사전 조립되어야 한다. 팝업 모드에서, 라인 깊이와 길이 양자 모두는 알려져 있으며, 그래픽 디스플레이 윈도우는 정확히 공지된 팝-업 그래픽의 행 깊이 및 열 폭일 수 있다. 이에 따라, 그래픽 배치가 매우 정밀할 수 있다.
단계(1120)에서, 폐쇄 캡션 데이터가 프로세싱된다. 옵션 단계(1130)에서, 예를 들어, 최소 에지(또는 최소 정보)를 갖는 소정의 영역을 찾기 위해 이전에 설명된 에지 검출 방법을 사용하여 복수의 소정의 영역으로부터의 단일 영역이 검색된다. 단계(1120)로부터 폐쇄 캡션 데이터 및 단계(1110)로부터 캡션 모드를 사용하여, 그래픽 디스플레이 윈도우 기하학 구조가 설정될 수 있다. 단계(1140)에서, 최소량의 에지 및/또는 정보를 갖는 윈도우 위치 옵션이 (단계(1130)가 발생하면 복수의 소정 영역 중 찾은 하나 내에서) 선택된다. 일 실시예에서, 방법(800)은 단계(1130)를 사용하지 않고 최소량의 에지 및/또는 정보를 갖는 “프리스타일” 윈도우 위치 옵션을 결정하는데 사용된다. 다시 말하면, 방법(800)은 복수의 윈도우 위치 옵션이 전체 이미지를 차지하는 경우 복수의 윈도우 위치 옵션 중 하나를 선택하는데 사용될 수 있다. 방법(800)은 단계(1140)마다 선택된 영역 내에 특정 그래픽 윈도우 위치를 선택하기 전에 단계(1130)를 사용함으로써 복수의 고정 또는 사전 선택된 영역 중 하나(예를 들어, 사분면(910, 915, 920, 및 925) 중 하나 또는 사분면(1010, 1015, 1020, 및 1025) 중 하나)를 선택하는데 사용될 수도 있다.
렌더러는 자유롭게 폰트 사이즈를 변형시키고, 그래픽 디스플레이 윈도우에서 임의의 위치에 행 바꿈(line breaks)을 위치시킨다. 통상적으로, 2개의 문자 사이에 공간이 검출되면 행 바꿈이 삽입된다.
그래픽 디스플레이 윈도우를 재배치하는 결정 수행 지점은 렌더링 스타일(1113, 1115, 및 1117)마다 상이하게 고정될 수 있다. 롤 온 모드(1113)를 위해, 예를 들어, 4개의 텍스트 라인이 소정의 시간에 이미 디스플레이되고, 제5 라인이 나타나야 하는 경우, 그래픽 디스플레이 윈도우를 위한 최선의 위치에 대해 결정이 행해질 수 있다(도 8을 사용). (즉, 단계(1130) 및 단계(1140)를 이용하여) 그래픽 디스플레이 윈도우의 2단계 위치 확인을 사용하는 뉴스 프로그램의 경우, 그래픽 디스플레이 윈도우의 사분면은 상당히 안정할 수 있으며, 그 이유는 소정의 사분면의 에지의 양이 브로드캐스트 중에 종종 변하지 않을 수 있기 때문이다. 팝 업(1115) 및 페인트 온(1117) 모드의 경우, 새로운 데이터 라인이 “팝업” 또는 “페인트 업”되어야 할 때마다(즉, 모든 라인이 끝난 후에) 어느 사분면이 최소량의 에지를 갖는지에 대한 결정이 행해진다.
이들로 제한되는 것은 아니지만, 도 6 내지 도 11과 함께 제시되는 바와 같은 것을 포함하여 전술한 프로세스들은 범용 프로세서, 다목적 프로세서, 또는 전용 프로세서에서 구현될 수 있다. 이러한 프로세서는 어셈블리에서 컴파일되거나 기계 레벨의 명령어들을 실행하여 이러한 프로세스를 수행할 것이다. 이들 명령어는 전술한 설명을 따르는 당업자에 의해 작성될 수 있고, 컴퓨터 판독가능 매체, 예를 들어 비일시적 컴퓨터 판독 매체에서 저장 또는 송신될 수 있다. 명령어들은 또한 소스 코드 또는 임의의 다른 공지된 컴퓨터-보조 설계 도구를 사용하여 생성될 수 있다. 컴퓨터 판독가능 매체는 이들 명령어를 나를 수 있는 임의의 매체일 수 있고, CD-ROM, DVD, 자기 또는 다른 광학 디스크, 테이프, 실리콘 메모리(예를 들어, 착탈식, 비-착탈식, 휘발성, 또는 비휘발성), 패킷화 또는 비패킷화된 유무선 전송 신호를 포함한다.
도 12는 예시 디바이스(1200)의 블록도를 나타낸다. 구체적으로, 디바이스(1200)는 이미지를 위한 그래픽, 예를 들어, 폐쇄 자막, 디스플레이 윈도우를 동적 선택하기 위해 채택될 수 있다. 디바이스(1200)는 콘텐츠 제공자(105), 디스플레이(140), 또는 최종 사용자 디바이스(115 및 125)에서 구현될 수 있다.
디바이스(1200)는 프로세서(CPU; 1210), 메모리(1220), 예를 들어, 랜덤 액세스 메모리(RAM) 및/또는 리드 온리 메모리(ROM), 그래픽, 예를 들어 폐쇄 자막, 윈도우 위치 옵션 선택 모듈(1240), 그래픽 모드 선택 모듈(1250), 및 다양한 입출력 디바이스(1230)를 포함한다(예를 들어, 이들로 제한되는 것은 아니지만, 테이프 드라이브, 플로피 드라이브, 하드 디스크 드라이브, 또는 컴팩 디스크 드라이브를 포함하는 저장 디바이스, 수신기, 송신기, 및 멀티미디어에서 공통 요구되는 다른 디바이스, 예를 들어, 콘텐츠 전달자, 인코더, 디코더, 시스템 컴포넌트, USB(Universal Serial Bus), 대용량 저장소, 네트워크 부착 저장소, 네트워크 클라우드 상의 저장 디바이스).
윈도우 위치 옵션 선택 모듈(1240) 및 그래픽 모드 선택 모듈(1250)이 통신 채널을 통해 CPU(1210)에 결합된 하나 이상의 물리적 디바이스로서 구현될 수 있다는 점이 이해되어야 한다. 또한, 윈도우 위치 옵션 선택 모듈(1240) 및 그래픽 모드 선택 모듈(1250)은 하나 이상의 소프트웨어 애플리케이션(또는 예를 들어, ASIC(application specific integrated circuit)를 사용하여 소프트웨어와 하드웨어의 조합)에 의해 표현될 수 있으며, 여기서 소프트웨어는 저장 매체(예를 들어, 자기 또는 광학 드라이브 또는 디스켓)로부터 로드되고 컴퓨터의 메모리(1220)에서 CPU에 의해 동작된다. 이에 따라, 본 개시의 (관련 데이터 구조들을 포함하는) 윈도우 위치 옵션 선택 모듈(1240) 및 (관련 데이터 구조들을 포함하는) 그래픽 모드 선택 모듈(1250)은 컴퓨터 판독가능 매체, 예를 들어, RAM 메모리, 자기 또는 광학 드라이브, 또는 디스켓 등에 저장될 수 있다.
앞선 설명은 본 개시의 실시예들에 관한 것이었지만, 다른 실시예 및 추가 실시예가 본 발명의 기본 범위를 벗어나지 않는 한 고안될 수 있고, 그 범위는 다음의 청구항에 의해 결정된다.

Claims (19)

  1. 이미지 내에 그래픽 디스플레이 윈도우를 동적으로 배치하는 방법으로서,
    상기 이미지에 대해 2차원 공간 그레디언트 측정을 수행하는 단계;
    상기 이미지에 대한 컨볼루션된 픽셀 값들을 계산하는 단계;
    상기 계산된 컨볼루션된 픽셀 값들을 사용하여 복수의 윈도우 위치 옵션에 대한 복수의 이미지 특징을 결정하는 단계 - 상기 복수의 윈도우 위치 옵션은 그래픽 디스플레이의 기하학 구조를 수용할 수 있는 기하학 구조를 가짐 -; 및
    상기 복수의 이미지 특징에 기반하여 상기 복수의 윈도우 위치 옵션 중 하나에 상기 그래픽 디스플레이를 배치하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 컨볼루션된 픽셀 값들은 상기 이미지 상에 마스크를 사용함으로써 계산되는, 방법.
  3. 제1항에 있어서,
    상기 이미지 특징은 에지의 개수이고,
    상기 배치하는 단계는 최소 개수의 에지를 갖는 상기 윈도우 위치 옵션에 상기 그래픽 디스플레이를 배치하는 단계를 포함하는, 방법.
  4. 제3항에 있어서,
    상기 이미지에서의 에지들의 개수는 임계 값을 초과하는 컨볼루션된 픽셀 값을 갖는 픽셀들을 에지들로 카운트함으로써 계산되는, 방법.
  5. 제3항에 있어서,
    상기 그래픽 디스플레이는 폐쇄 자막 데이터(closed captioning data)이고,
    상기 배치하는 단계는 최소 개수의 에지를 갖는 상기 윈도우 위치 옵션에 폐쇄 자막 데이터를 배치하는 단계를 포함하는, 방법.
  6. 제1항에 있어서,
    상기 이미지 특징은 상기 이미지에서의 정보량이고,
    상기 배치하는 단계는 최소 양의 정보를 갖는 상기 윈도우 위치 옵션에 상기 그래픽 디스플레이를 배치하는 단계를 포함하는, 방법.
  7. 제1항에 있어서,
    상기 배치된 그래픽 디스플레이는 팝-업 모드에서 제공되는, 방법.
  8. 제1항에 있어서,
    상기 배치된 그래픽 디스플레이는 롤-온(roll-on) 모드에서 제공되고, 상기 기하학 구조는 상기 그래픽 디스플레이보다 깊은, 방법.
  9. 제1항에 있어서,
    상기 배치된 그래픽 디스플레이는 페인트-온(paint-on) 모드에서 제공되고, 상기 기하학 구조는 상기 그래픽 디스플레이보다 긴, 방법.
  10. 제1항에 있어서,
    상기 이미지는 비디오 프레임들의 시퀀스 중 하나이고, 상기 복수의 윈도우 위치 옵션에 대한 복수의 누적 이미지 특징이 상기 비디오 프레임들의 시퀀스에 대해 결정되는, 방법.
  11. 제10항에 있어서,
    상기 배치하는 단계는 사용자 입력을 수신함으로써 디스에이블되는, 방법.
  12. 제10항에 있어서,
    상기 배치하는 단계는 상기 복수의 비디오 프레임의 시퀀스에서의 모션의 양 및 정보 변화의 양 중 적어도 하나에 기반하여 디스에이블되는, 방법.
  13. 제10항에 있어서,
    상기 배치된 그래픽 디스플레이는 롤-온 모드에서 제시되는, 방법.
  14. 제10항에 있어서,
    상기 배치된 그래픽 디스플레이는 페인트-온 모드에서 제시되는, 방법.
  15. 제10항에 있어서,
    상기 윈도우 위치 옵션들은 상기 복수의 누적 이미지 특징에 기반한 고려에서 배제되는, 방법.
  16. 제1항에 있어서,
    상기 계산하는 단계 이후, 상기 계산된 컨볼루션된 픽셀 값들에 기반하여 복수의 미리 결정된 영역으로부터 영역을 찾는 단계를 더 포함하고,
    상기 복수의 윈도우 위치 옵션은 상기 영역 내에만 존재하는, 방법.
  17. 이미지 내에 폐쇄 자막 디스플레이 윈도우를 동적으로 배치하는 장치로서,
    메모리; 및
    프로세서
    를 포함하고,
    상기 프로세서는,
    상기 이미지에 대해 2차원 공간 그레디언트 측정을 수행하는 단계;
    상기 이미지에 대한 컨볼루션된 픽셀 값들을 계산하는 단계;
    상기 계산된 컨볼루션된 픽셀 값들을 사용하여 복수의 윈도우 위치 옵션에 대한 복수의 이미지 특징을 결정하는 단계 - 상기 복수의 윈도우 위치 옵션은 그래픽 디스플레이의 기하학 구조를 수용할 수 있는 기하학 구조를 가짐 -; 및
    상기 복수의 이미지 특징에 기반하여 상기 복수의 윈도우 위치 옵션 중 하나에 상기 그래픽 디스플레이를 배치하는 단계를 수행하도록 구성된, 장치.
  18. 제17항에 있어서,
    상기 프로세서는 상기 계산된 컨볼루션된 픽셀 값들에 기반하여 복수의 미리 결정된 영역으로부터 영역을 찾는 단계를 수행하도록 더 구성되고,
    상기 복수의 윈도우 위치 옵션은 상기 영역 내에만 존재하는, 장치.
  19. 프로세서에 의해 실행되는 경우 이미지 내에 그래픽 디스플레이 윈도우를 동적으로 배치하는 방법을 수행하는 명령어들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은,
    상기 이미지에 대해 2차원 공간 그레디언트 측정을 수행하는 단계;
    상기 이미지에 대한 컨볼루션된 픽셀 값들을 계산하는 단계;
    상기 계산된 컨볼루션된 픽셀 값들을 사용하여 복수의 윈도우 위치 옵션에 대한 복수의 이미지 특징을 결정하는 단계 - 상기 복수의 윈도우 위치 옵션은 그래픽 디스플레이의 기하학 구조를 수용할 수 있는 기하학 구조를 가짐 -; 및
    상기 복수의 이미지 특징에 기반하여 상기 복수의 윈도우 위치 옵션 중 하나에 상기 그래픽 디스플레이를 배치하는 단계
    를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
KR1020147013517A 2011-11-22 2012-11-16 이미지 내의 그래픽 디스플레이 윈도우의 동적 배치 방법 및 장치 KR20140075802A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/302,173 2011-11-22
US13/302,173 US20130127908A1 (en) 2011-11-22 2011-11-22 Method and apparatus for dynamic placement of a graphics display window within an image
PCT/US2012/065401 WO2013078072A1 (en) 2011-11-22 2012-11-16 Method and apparatus for dynamic placement of a graphics display window within an image

Publications (1)

Publication Number Publication Date
KR20140075802A true KR20140075802A (ko) 2014-06-19

Family

ID=47291252

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147013517A KR20140075802A (ko) 2011-11-22 2012-11-16 이미지 내의 그래픽 디스플레이 윈도우의 동적 배치 방법 및 장치

Country Status (5)

Country Link
US (1) US20130127908A1 (ko)
EP (1) EP2783348A1 (ko)
KR (1) KR20140075802A (ko)
CN (1) CN103946894A (ko)
WO (1) WO2013078072A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9544540B2 (en) * 2014-06-04 2017-01-10 Apple Inc. Dynamic display of video communication data
US9516269B2 (en) 2014-06-04 2016-12-06 Apple Inc. Instant video communication connections
US9232187B2 (en) 2014-06-04 2016-01-05 Apple Inc. Dynamic detection of pause and resume for video communications
EP3761633A1 (en) * 2014-06-04 2021-01-06 Apple Inc. Dynamic display of video communication data
US9232188B2 (en) 2014-06-04 2016-01-05 Apple Inc. Dynamic transition from video messaging to video communication
US10528214B2 (en) 2016-12-28 2020-01-07 Microsoft Technology Licensing, Llc Positioning mechanism for bubble as a custom tooltip

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6366699B1 (en) * 1997-12-04 2002-04-02 Nippon Telegraph And Telephone Corporation Scheme for extractions and recognitions of telop characters from video data
US6906743B1 (en) * 1999-01-13 2005-06-14 Tektronix, Inc. Detecting content based defects in a video stream
US6711291B1 (en) * 1999-09-17 2004-03-23 Eastman Kodak Company Method for automatic text placement in digital images
KR100341030B1 (ko) * 2000-03-16 2002-06-20 유태욱 캡션 데이터와 음성 데이터의 재생방법 및 이를 이용한 디스플레이장치
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
DE60141570D1 (de) * 2001-06-29 2010-04-29 Nokia Corp Bildeditierverfahren
US7609847B2 (en) * 2004-11-23 2009-10-27 Hewlett-Packard Development Company, L.P. Methods and systems for determining object layouts
US7352912B2 (en) * 2004-12-10 2008-04-01 Xerox Corporation Method for automatically determining a region of interest for text and data overlay
US20090273711A1 (en) * 2008-04-30 2009-11-05 Centre De Recherche Informatique De Montreal (Crim) Method and apparatus for caption production
US8503767B2 (en) * 2009-09-16 2013-08-06 Microsoft Corporation Textual attribute-based image categorization and search
MY164743A (en) * 2011-02-16 2018-01-30 Genscape Intangible Holding Inc Method and system for collecting and analyzing operational information from a network of components associated with a liquid energy commodity
US9749504B2 (en) * 2011-09-27 2017-08-29 Cisco Technology, Inc. Optimizing timed text generation for live closed captions and subtitles

Also Published As

Publication number Publication date
US20130127908A1 (en) 2013-05-23
CN103946894A (zh) 2014-07-23
EP2783348A1 (en) 2014-10-01
WO2013078072A1 (en) 2013-05-30

Similar Documents

Publication Publication Date Title
KR20140075802A (ko) 이미지 내의 그래픽 디스플레이 윈도우의 동적 배치 방법 및 장치
EP3104332B1 (en) Digital image manipulation
US8798151B2 (en) Video display device, interpolated image generation circuit and interpolated image generation method
US8249305B2 (en) Information processing apparatus, information processing method, program, and recording medium
US8116593B2 (en) Image processing apparatus, image processing method, and program for determining a zoom area for a displayed zoom image
US20140201773A1 (en) Systems and methods for on-screen graphics detection
CN108764000B (zh) 二维码快速解码方法
CN104469178B (zh) 一种图像显示方法及电子设备
CN107911734B (zh) 字幕显示方法、装置以及计算机可存储介质
JP6924932B2 (ja) 移動体追跡方法、移動体追跡装置、およびプログラム
CN111241872B (zh) 视频图像遮挡方法及装置
US20090128702A1 (en) Display control apparatus, method, and storage medium
CN104735521A (zh) 一种滚动字幕检测方法及装置
CN112954443A (zh) 全景视频的播放方法、装置、计算机设备和存储介质
US9892757B2 (en) Apparatus and method for calculating and virtually displaying football statistics
JP5599063B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP2008046608A (ja) ビデオウィンドウ検出器
WO2007129591A1 (ja) 遮蔽物映像識別装置及び方法
US9395887B2 (en) Image processing apparatus and method for removing noise from a frame group
US9847102B2 (en) Method and device for bounding an object in a video
KR102087681B1 (ko) 이미지 처리 장치, 이미지 처리 방법 및 컴퓨터 판독가능 기록 매체
KR102153393B1 (ko) 동영상의 실시간 로고 검출방법
KR101290673B1 (ko) 스포츠 동영상의 하이라이트 검출 방법 및 장치
US9826163B2 (en) Image processing apparatus, control method, and recording medium
JP7268848B2 (ja) コマーシャル検出装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application