KR102121530B1 - 영상을 디스플레이 하는 방법 및 그 장치 - Google Patents

영상을 디스플레이 하는 방법 및 그 장치 Download PDF

Info

Publication number
KR102121530B1
KR102121530B1 KR1020130106301A KR20130106301A KR102121530B1 KR 102121530 B1 KR102121530 B1 KR 102121530B1 KR 1020130106301 A KR1020130106301 A KR 1020130106301A KR 20130106301 A KR20130106301 A KR 20130106301A KR 102121530 B1 KR102121530 B1 KR 102121530B1
Authority
KR
South Korea
Prior art keywords
image
video
display device
output
motion vector
Prior art date
Application number
KR1020130106301A
Other languages
English (en)
Other versions
KR20140127719A (ko
Inventor
정민규
강성훈
김학준
백성욱
국승빈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP14165869.0A priority Critical patent/EP2797314B1/en
Priority to US14/262,118 priority patent/US9930268B2/en
Publication of KR20140127719A publication Critical patent/KR20140127719A/ko
Application granted granted Critical
Publication of KR102121530B1 publication Critical patent/KR102121530B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

동영상 콘텐트에 대한 특수효과를 제공하기 위하여 생성된 효과 영상을 출력하는 영상 처리 방법 및 그 디스플레이 장치가 제공된다. 영상을 처리하는 방법은, 디스플레이 장치의 화면에 동영상을 출력하는 단계 및 디스플레이 장치에 출력되고 있는 동영상에 포함된 정보로부터 생성된 영상을 동영상이 출력되는 영역의 주변에 생성된 영상을 출력하는 단계를 포함한다.

Description

영상을 디스플레이 하는 방법 및 그 장치{Method for Displaying Image and Apparatus Thereof}
본 발명은 영상을 디스플레이하는 방법 및 그 장치에 관한 것이다. 보다 상세하게는, 재생 중인 동영상에 대한 특수효과를 부여하기 위한 영상을 디스플레이하는 방법 및 그 장치에 관한 것이다.
동영상(video) 콘텐트를 재생하기 위한 다양한 기기들이 보급되고 있다. 예를 들어, 다양한 형태의 텔레비전, 스마트폰(smartphone), 태블릿 PC 및 노트북 컴퓨터 등이 보급되었다.
동영상 콘텐트를 재생함에 있어서, 시청 영역을 확대하고 보다 현실적인 콘텐트를 제공하기 위한 다양한 방법들이 시도되었다. 예컨대, 수많은 엔지니어들이 음향을 변조하고, 보다 높은 해상도의 영상을 제공하며, 동영상 시스템에서의 화면비를 향상시키기 위하여 많은 노력을 들였다.
동영상 콘텐트의 소비적 확장을 위하여 사용자에게 콘텐트에 대한 보다 다양한 경험을 제공하기 위한 방법이 필요하다.
본 발명의 일 실시예는 추가적인 정보 없이 동영상 콘텐트에 포함된 정보로부터 생성된 영상을 이용하여 효과 영상을 생성하고, 동영상 콘텐트에 대한 특수효과를 제공하기 위하여 생성된 효과 영상을 출력하는 영상 처리 방법 및 그 디스플레이 장치를 제공한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따라 영상을 처리하는 방법은, 디스플레이 장치의 화면에 동영상을 출력하는 단계 및 디스플레이 장치에 출력되고 있는 동영상에 포함된 정보로부터 생성된 영상을 동영상이 출력되는 영역의 주변에 생성된 영상을 출력하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 생성된 영상은 디스플레이 장치의 화면에 출력되고 있는 동영상의 프레임 이전의 적어도 하나의 프레임에 포함된 이미지의 적어도 일 부분을 포함할 수 있다.
본 발명의 또 다른 실시예에 따르면, 디스플레이 장치에 디스플레이되는 동영상에 포함된 정보는 동영상에 포함된 모션 벡터(Motion Vector)를 포함할 수 있다.
본 발명의 또 다른 실시예에 따라 영상을 처리하는 방법은, 모션 벡터에 기초하여, 디스플레이 장치에 출력 되고 있는 동영상의 이동 유형을 평행 이동, 회전 이동 및 중심 이동 중에서 어느 하나를 선택하고, 선택된 이동 유형에 따라 영상을 생성하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 실시예에 따르면, 영상을 생성하는 단계는 선택된 이동 유형 및 모션 벡터에 기초하여 적어도 하나의 프레임의 이미지를 출력할 영역을 결정하는 단계 및 결정된 영역에 기초하여 생성된 영상을 출력하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예에 따라 영상을 처리하는 방법은, 디스플레이 장치에 출력되고 있는 동영상에 포함된 음성 데이터에 기초하여 영상을 생성하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 실시예에 따르면, 영상을 생성하는 단계는 음성 데이터의 스펙트럼을 분석하는 단계 및 분석된 스펙트럼에 포함된 음성 데이터의 박자, 최소 음량, 최대 음량, 좌측 음량 및 우측 음량 중 적어도 하나에 기초하여 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예에 따르면, 영상을 생성하는 단계는 디스플레이 장치에 출력되고 있는 동영상에 포함된 영상 객체를 인식하는 단계 및 영상 객체가 동영상이 출력되는 영역을 벗어남에 따라, 영상 객체를 포함하는 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예에 따르면, 영상 객체를 인식하는 단계는 디스플레이 장치에 출력되고 있는 동영상에 포함된 메타데이터로부터 객체를 인식하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따라 동영상을 출력하는 디스플레이 장치는, 동영상을 출력하는 디스플레이 장치의 화면과, 디스플레이 장치에 출력되고 있는 동영상에 포함된 정보로부터 영상을 생성하는 영상 생성부 및 동영상이 출력되는 영역의 주변에 영상 생성부에서 생성된 영상을 출력하는 보조 영상 출력부를 포함할 수 있다.
본 발명의 또 다른 실시예에 따르면, 생성된 영상은 디스플레이 장치의 화면에 출력되고 있는 동영상의 프레임 이전의 적어도 하나의 프레임에 포함된 이미지의 적어도 일 부분을 포함할 수 있다.
본 발명의 또 다른 실시예에 따르면, 디스플레이 장치에 디스플레이되는 동영상에 포함된 정보는
상기 동영상에 포함된 모션 벡터(Motion Vector)를 포함할 수 있다.
본 발명의 또 다른 실시예에 따르면, 영상 생성부는 모션 벡터에 기초하여, 디스플레이 장치에 출력 되고 있는 동영상의 이동 유형을 평행 이동, 회전 이동 및 중심 이동 중에서 어느 하나를 선택하고, 선택된 이동 유형에 따라서 영상을 생성할 수 있다.
본 발명의 또 다른 실시예에 따르면, 영상 생성부는 선택된 이동 유형 및 모션 벡터에 기초하여 적어도 하나의 프레임의 이미지를 출력할 영역을 결정할 수 있다. 보조 영상 출력부는 결정된 영역에 기초하여, 적어도 하나의 프레임에 포함된 이미지의 적어도 일 부분을 출력할 수 있다.
본 발명의 또 다른 실시예에 따르면, 영상 생성부는 디스플레이 장치에 출력되고 있는 동영상에 포함된 음성 데이터에 기초하여 영상을 생성할 수 있다.
본 발명의 또 다른 실시예에 따르면, 영상 생성부는 음성 데이터의 스펙트럼을 분석하는 스펙트럼 분석 모듈을 포함하고, 분석된 스펙트럼에 포함된 음성 데이터의 박자, 최소 음량, 최대 음량, 좌측 음량 및 우측 음량 중 적어도 하나에 기초하여 영상을 생성할 수 있다.
본 발명의 또 다른 실시예에 따르면, 영상 생성부는 디스플레이 장치에 출력되고 있는 동영상에 포함된 영상 객체를 인식하는 객체 인식 모듈을 포함하고, 영상 객체가 동영상이 출력되는 영역을 벗어남에 따라, 영상 객체를 포함하는 영상을 생성할 수 있다.
본 발명의 또 다른 실시예에 따르면, 객체 인식 모듈은 디스플레이 장치에 출력되고 있는 동영상에 포함된 메타데이터로부터 객체를 인식할 수 있다.
본 발명의 일 실시예에 따른 저장 매체는, 상기 기재된 방법을 실시하기 위한 컴퓨터로 판독 가능한 프로그램을 기록한 저장 매체일 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 방법을 간단히 도시한 순서도이다.
도 2는 본 발명의 일 실시예에 따른 디스플레이 장치를 도시한 도면이다.
도 3은 본 발명의 다른 실시예에 다른 영상 처리 방법을 도시한 순서도이다.
도 4는 본 발명의 또 다른 실시예에 따른 영상 처리 방법을 도시한 순서도이다.
도 5는 본 발명의 일 실시예에 따라 동영상의 이동 유형이 평행 이동인 경우의 영상 처리 및 영상 출력 방법을 도시한 도면이다.
도 6은 본 발명의 다른 실시예에 따라 동영상의 이동 유형이 중심 이동인 경우의 영상 처리 및 영상 출력 방법을 도시한 도면이다.
도 7은 본 발명의 또 다른 실시예에 따라 동영상의 이동 유형이 회전 이동인 경우의 영상 처리 및 영상 출력 방법을 도시한 도면이다.
도 8은 본 발명의 또 다른 실시예에 따른 영상 처리 방법을 도시한 순서도이다.
도 9는 본 발명의 일 실시예에 따라 동영상의 주변에 영상이 출력되는 예시를 도시한 도면이다.
도 10은 본 발명의 다른 실시예에 따라 동영상의 주변에 영상이 출력되는 예시를 도시한 도면이다.
도 11은 본 발명의 또 다른 실시예에 따른 영상 처리 방법을 도시한 순서도이다.
도 12는 본 발명의 일 실시예에 따라 동영상에 포함된 객체를 포함하는 영상을 동영상의 주변에 출력하는 예시를 도시한 도면이다.
도 13은 본 발명의 일 실시예에 따른 디스플레이 장치의 구성을 간단히 도시한 구조도이다.
도 14는 본 발명의 일 실시예에 따라 동영상의 주변에 영상을 출력하는 예시를 도시한 도면이다.
도 15는 본 발명의 다른 실시예에 따라 동영상의 주변에 영상을 출력하는 예시를 도시한 도면이다.
도 16은 본 발명의 또 다른 실시예에 따라 동영상의 주변에 영상을 출력하는 예시를 도시한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서, 동영상(video)은 디스플레이 장치의 화면에 연속적으로 움직이는 상태인 영상을 의미한다. 또한, 동영상 데이터(video data)는 동영상을 재생하기 위해 저장 매체에 저장되고 컴퓨터로 읽을 수 있는 데이터를 의미한다.
또한, 본 명세서에서, 모션 벡터(Motion Vector)는 움직임 추정(motion estimation) 프로세스의 구성요소로서, 영상과 참조 영상 간의 위치 좌표간의 차이를 벡터로 나타낸 것을 의미한다. 예를 들어, 모션 벡터는 영상 압축에 관한 표준인 MPEG(Moving Picture Experts Group)이나 H.264 표준에 따라 생성된 비디오 데이터에 포함될 수 있다.
또한, 본 명세서에서, 동영상으로부터 생성된 영상(Image)은 동영상 데이터에 기초하여 생성된 영상을 의미한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 방법을 간단히 도시한 순서도이다. 또한, 도 2는 본 발명의 일 실시예에 따른 디스플레이 장치를 도시한 도면이다.
먼저, 디스플레이 장치(200)는 동영상을 출력할 수 있다(S110). 여기서, 디스플레이 장치(200)는 동영상을 재생할 수 있는 장치를 의미한다. 예를 들어, 디스플레이 장치(200)는 텔레비전, 스마트폰(smartphone), PDA(Personal Digital Assistant) 및 태블릿 PC와 같이 동영상을 재생할 수 있는 디바이스로 구현될 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니다.
동영상은, 바람직하게는, 디지털 데이터 형태인 동영상 데이터로 구성될 수 있다. 동영상은 동영상과 관련된 다른 데이터를 더 포함할 수 있다. 예를 들어, 동영상은 동영상에 대한 메타 데이터나 음향 데이터를 더 포함할 수 있다.
이후, 디스플레이 장치(200)는 동영상으로부터 생성된 영상을 동영상이 출력되는 영역(210) 주변의 영역(220)에 출력할 수 있다(S120). 여기서, 주변 영역(220)은 디스플레이 장치(200)의 화면을 인접하여 둘러싸거나, 디스플레이 장치(200)의 화면의 일 측면에 인접한 영역일 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따르면, 디스플레이 장치(200)는 디스플레이 장치의 화면에 출력되고 있는 동영상의 프레임 이전의 적어도 하나의 프레임에 포함된 이미지의 적어도 일 부분을 포함할 수 있다.
도 3은 본 발명의 다른 실시예에 다른 영상 처리 방법을 도시한 순서도이다.
먼저, 디스플레이 장치(200)는 동영상을 출력할 수 있다(S310). 여기서, 디스플레이 장치(200)는 디스플레이 장치(200)에 출력되는 동영상의 프레임으로부터 N개의 프레임을 이용하여 주변 영역(220)에 출력될 영상을 생성하기 위한 프로세스의 반복 횟수를 나타내는 계수 a의 값을 0으로 설정할 수 있다(S320). 여기서, N은 양의 정수이다.
이후, 디스플레이 장치(200)는 현재 출력되고 있는 프레임의 모션 벡터를 검출할 수 있다(S330). 여기서, 본 발명의 일 실시예에 따르면, 디스플레이 장치(200)는 검출된 모션 벡터에 기초하여 디스플레이 장치(200)에 출력되는 동영상의 이동 형태를 기 설정된 이동 형태들 중에서 결정할 수 있다. 여기서, 동영상의 이동 형태는 디스플레이 장치(200)에 출력되는 동영상이 움직임이 가지는 패턴을 의미한다. 동영상의 이동 형태는 모션 벡터를 검출한 각 블록에 포함된 영상이 평행하게 이동하는 평행 이동, 각 블록에 포함된 영상이 적어도 하나의 축을 중심으로 회전하는 회전 이동 및 동영상에 포함된 영상이 한 지점을 향해 나아가는 중심 이동 중 어느 하나일 수 있다. 예를 들면, 디스플레이 장치(200)에 출력된 영상의 프레임 전체가 한 방향으로 이동하는 경우, 동영상의 이동 형태가 평행이동일 수 있다. 다른 예를 들면, 디스플레이 장치(200)에 출력된 영상이 비행기가 회전하는 영상인 경우, 동영상의 이동 형태는 회전 이동일 수 있다. 또 다른 예를 들면, 디스플레이 장치(200)에 출력된 영상이 터널을 지나는 차량의 시각에서 앞으로 나아가는 영상인 경우, 동영상의 이동 형태는 중심 이동일 수 있다.
본 발명의 일 실시예에 따르면, 디스플레이 장치(200)는 현재 출력되고 있는 동영상의 프레임으로부터 N번째 이전까지의 프레임을 디스플레이 장치(200)에 구비된 메모리(미도시)에 저장할 수 있다. 예를 들어, 동영상이 1번부터 20번 프레임으로 구성되어 있고 디스플레이 장치(200)에 7번 프레임이 출력되고 있으며 N이 3인 경우, 디스플레이 장치(200)는 4번 프레임부터 6번 프레임까지 메모리(미도시)에 저장할 수 있다.
본 발명의 일 실시예에 따르면, N은 S330단계에서 검출된 모션 벡터의 크기에 따라 결정될 수 있다. 예를 들어, 모션 벡터의 크기가 큰 경우, 디스플레이 장치(200)는 많은 수의 프레임을 이용하여 영상을 생성할 수 있다. 반대로, 모션 벡터의 크기가 작은 경우, 디스플레이 장치(200)는 적은 수의 프레임을 이용하여 영상을 생성할 수 있다.
이후, 디스플레이 장치(200)는 검출된 모션 벡터를 누적(Accumulate)할 수 있다(S340). 여기서, 이전에 누적된 모션 벡터가 없는 경우, 모션 벡터는 0의 값을 기본값으로 가질 수 있다. 본 발명의 일 실시예에 따르면, 누적되는 모션 벡터는 검출된 모션 벡터 중 어느 하나이거나, 검출된 모션 벡터로부터 결정된 어느 하나의 벡터일 수 있다. 누적되는 모션 벡터는 발명의 실시예에 따라 다르게 결정될 수 있다. 이후, 디스플레이 장치(200)는 프로세스의 반복 횟수를 나타내는 계수 a의 값을 증가시킬 수 있다(S350).
이후, 디스플레이 장치(200)는 현재 출력되고 있는 프레임으로부터 a번째 이전의 프레임을 표시할 위치를 누적된 모션 벡터에 따라 이동할 수 있다(S360). 예를 들어, 누적된 모션 벡터가 수평축 방향으로 4, 수직축 방향으로 3인 경우, a번째 이전의 프레임을 수평축 방향으로 4, 수직축 방향으로 3만큼 이동할 수 있다.
본 발명의 다른 일 실시예에 따르면, S360단계에서 디스플레이 장치(200)는 현재 출력되고 있는 프레임으로부터 a번째 이전의 프레임을 표시할 영역을 누적된 모션 벡터에 따라 확대할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, S360 단계에서 디스플레이 장치(200)는 출력되고 있는 프레임으로부터 a번째 이전의 프레임을 누적된 모션 벡터에 따라 어느 한 축을 기준으로 회전시킬 수 있다.
이후, 디스플레이 장치(200)는 이동되거나 확대 또는 축소된 영상을 동영상이 표시되는 영역(210)의 주변 영역(220)에 출력할 수 있다(S370). 디스플레이 장치(200)는 S340 단계 내지 S370 단계를 N회 반복할 수 있다(S380).
도 4는 본 발명의 또 다른 실시예에 따른 영상 처리 방법을 도시한 순서도이다.
먼저, 디스플레이 장치(200)는 동영상을 출력할 수 있다(S410). 여기서, 디스플레이 장치(200)는 디스플레이 장치(200)에 출력되는 동영상의 프레임으로부터 N개의 프레임을 이용하여 주변 영역(220)에 출력될 영상을 생성하기 위한 프로세스의 반복 횟수를 나타내는 계수 a의 값을 0으로 설정할 수 있다(S420). 여기서, N은 양의 정수이다.
이후, 디스플레이 장치(200)는 현재 출력되고 있는 프레임으로부터 a번째 이전의 프레임의 모션 벡터를 검출할 수 있다(S430). 여기서, 본 발명의 일 실시예에 따르면, 디스플레이 장치(200)는 검출된 모션 벡터에 기초하여 디스플레이 장치(200)에 출력되는 동영상의 이동 형태를 기 설정된 이동 형태들 중에서 결정할 수 있다. 여기서, 동영상의 이동 형태는 디스플레이 장치(200)에 출력되는 동영상이 움직임이 가지는 패턴을 의미한다. 동영상의 이동 형태는 모션 벡터를 검출한 각 블록에 포함된 영상이 평행하게 이동하는 평행 이동, 각 블록에 포함된 영상이 적어도 하나의 축을 중심으로 회전하는 회전 이동 및 동영상에 포함된 영상이 한 지점을 향해 나아가는 중심 이동 중 어느 하나일 수 있다. 예를 들면, 디스플레이 장치(200)에 출력된 영상의 프레임 전체가 한 방향으로 이동하는 경우, 동영상의 이동 형태가 평행이동일 수 있다. 다른 예를 들면, 디스플레이 장치(200)에 출력된 영상이 비행기가 회전하는 영상인 경우, 동영상의 이동 형태는 회전 이동일 수 있다. 또 다른 예를 들면, 디스플레이 장치(200)에 출력된 영상이 터널을 지나는 차량의 시각에서 앞으로 나아가는 영상인 경우, 동영상의 이동 형태는 중심 이동일 수 있다.
본 발명의 일 실시예에 따르면, 디스플레이 장치(200)는 현재 출력되고 있는 동영상의 프레임으로부터 N번째 이전까지의 프레임을 디스플레이 장치(200)에 구비된 메모리(미도시)에 저장할 수 있다. 예를 들어, 동영상이 1번부터 20번 프레임으로 구성되어 있고 디스플레이 장치(200)에 7번 프레임이 출력되고 있으며 N이 3인 경우, 디스플레이 장치(200)는 4번 프레임부터 6번 프레임까지 메모리(미도시)에 저장할 수 있다.
본 발명의 일 실시예에 따르면, N은 S430단계에서 검출된 모션 벡터의 크기에 따라 결정될 수 있다. 예를 들어, 모션 벡터의 크기가 큰 경우, 디스플레이 장치(200)는 많은 수의 프레임을 이용하여 영상을 생성할 수 있다. 반대로, 모션 벡터의 크기가 작은 경우, 디스플레이 장치(200)는 적은 수의 프레임을 이용하여 영상을 생성할 수 있다.
이후, 디스플레이 장치(200)는 S430 단계에서 검출된 모션 벡터를 누적(Accumulate)할 수 있다(S440). 여기서, 이전에 누적된 모션 벡터가 없는 경우, 모션 벡터는 0의 값을 기본값으로 가질 수 있다. 본 발명의 일 실시예에 따르면, 누적되는 모션 벡터는 검출된 모션 벡터 중 어느 하나이거나, 검출된 모션 벡터로부터 결정된 어느 하나의 벡터일 수 있다. 누적되는 모션 벡터는 발명의 실시예에 따라 다르게 결정될 수 있다. 이후, 디스플레이 장치(200)는 프로세스의 반복 횟수를 나타내는 계수 a의 값을 증가시킬 수 있다(S450).
이후, 디스플레이 장치(200)는 현재 출력되고 있는 프레임으로부터 a번째 이전의 프레임을 표시할 위치를 누적된 모션 벡터에 따라 이동할 수 있다(S460). 예를 들어, 누적된 모션 벡터가 수평축 방향으로 4, 수직축 방향으로 3인 경우, a번째 이전의 프레임을 수평축 방향으로 4, 수직축 방향으로 3만큼 이동할 수 있다.
본 발명의 다른 일 실시예에 따르면, S460단계에서 디스플레이 장치(200)는 현재 출력되고 있는 프레임으로부터 a번째 이전의 프레임을 표시할 영역을 누적된 모션 벡터에 따라 확대할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, S460 단계에서 디스플레이 장치(200)는 출력되고 있는 프레임으로부터 a번째 이전의 프레임을 누적된 모션 벡터에 따라 어느 한 축을 기준으로 회전시킬 수 있다.
이후, 디스플레이 장치(200)는 이동되거나 확대 또는 축소된 영상을 동영상이 표시되는 영역(210)의 주변 영역(220)에 출력할 수 있다(S470). 디스플레이 장치(200)는 S430 단계 내지 S470 단계를 N회 반복할 수 있다(S480).
도 5는 본 발명의 일 실시예에 따라 동영상의 이동 유형이 평행 이동인 경우의 영상 처리 및 영상 출력 방법을 도시한 도면이다.
디스플레이 장치는 동영상을 출력(510)하고, 출력된 동영상으로부터 모션 벡터를 검출할 수 있다. 520은 동영상이 출력되는 영역(210)에 포함된 모션 벡터(522)를 검출하는 도면이다. 디스플레이 장치는 출력된 동영상을 복수 개의 블록들로 분할하고, 분할된 블록들로부터 모션 벡터들을 검출할 수 있다. 520에서와 같이, 블록들로부터 검출된 모션 벡터들이 유사한 방향을 가지는 경우, 디스플레이 장치는 동영상의 이동 유형이 평행 이동인 것으로 판단할 수 있다. 검출된 모션 벡터로부터 하나의 모션 벡터(522)를 결정할 수 있다. 여기서, 모션 벡터(522)는 블록들로부터 검출된 복수 개의 모션 벡터들 중에서 선택되거나, 복수 개의 모션 벡터의 평균값으로 모션 벡터(522)를 결정할 수 있다. 다만, 이에 한정되는 것은 아니며 실시예에 따라 다르게 구현될 수 있다.
이후, 디스플레이 장치는 1번째 이전 프레임(531)을 표시할 위치를 모션 벡터(522)에 기초하여 이동할 수 있다(530). 1번째 이전 프레임(531)은 디스플레이 장치 상에 표시된 동영상의 프레임으로부터 1번째 이전의 프레임을 의미한다. 여기서, 디스플레이 장치는 1번째 이전 프레임(531)이 디스플레이 장치 상에 표시된 프레임과 중복되어 표시되지 않도록 하기 위하여, 1번째 이전 프레임(531)에 마스크(mask)를 적용할 수 있다. 이후, 디스플레이 장치는 모션 벡터(522)를 누적(accumulate)하고, 누적된 모션 벡터에 기초하여 2번째 이전 프레임(532)을 표시할 위치를 이동할 수 있다(540). 예를 들어, 모션 벡터(522)가 (-1, -2)인 경우, 디스플레이 장치는 1번째 이전 프레임(531)이 표시될 위치를 (-1, -2) 만큼 이동하고, 2번째 이전 프레임(532)이 표시될 위치를(-2, -4)만큼 이동할 수 있다. 이후, 디스플레이 장치는 모션 벡터(522)를 누적(accumulate)하고, 누적된 모션 벡터에 기초하여 3번째 이전 프레임(533)을 표시할 위치를 이동할 수 있다(550). 530에서와 마찬가지로, 2번째 이전 프레임(532) 및 3번째 이전 프레임(533)에 대하여 다른 프레임과 중복하여 표시되지 않도록 마스크(mask)를 적용할 수 있다. 디스플레이 장치는 모션 벡터(522)를 누적하고, 디스플레이 장치에 출력된 프레임의 이전 프레임의 위치를 이동하는 과정을 N회 반복할 수 있다.
이후, 모션 벡터(522)에 기초하여 위치가 변경된 프레임들(531, 532, 533)을 동영상이 출력된 영역(210)의 주변 영역(220)에 출력할 수 있다(S560).
도 6은 본 발명의 다른 실시예에 따라 동영상의 이동 유형이 중심 이동인 경우의 영상 처리 및 영상 출력 방법을 도시한 도면이다.
디스플레이 장치는 동영상을 출력(610)하고, 출력된 동영상으로부터 모션 벡터를 검출할 수 있다. 620은 동영상이 출력되는 영역(610)에 포함된 모션 벡터를 검출하는 도면이다. 디스플레이 장치는 출력된 동영상을 복수 개의 블록들로 분할하고, 분할된 블록들로부터 모션 벡터를 검출할 수 있다. 620에서와 같이, 복수 개의 블록들로부터 검출된 복수 개의 모션 벡터들이 한 지점을 향하고 있는 경우, 디스플레이 장치는 동영상의 이동 유형이 중심 이동인 것으로 판단할 수 있다. 본 명세서에서, 복수 개의 모션 벡터들이 향하고 있는 지점은 중심점이라고 언급될 수 있다. 동영상의 이동 유형이 중심 이동인 경우, 디스플레이 장치는 블록들로부터 검출된 복수 개의 모션 벡터에 기초하여 디스플레이 장치에 출력된 동영상의 프레임 이전의 프레임을 확대 또는 축소할 배율(scale)을 결정할 수 있다. 여기서, 배율은 검출된 모션 벡터들의 크기에 기초하여 결정될 수 있다. 다만, 이에 한정되는 것은 아니며 실시예에 따라 다르게 구현될 수 있다.
이후, 디스플레이 장치는 결정된 배율(scale)에 기초하여 1번째 이전 프레임(631)을 표시할 영역을 확대 또는 축소할 수 있다(630). 1번째 이전 프레임(631)은 디스플레이 장치 상에 표시된 동영상의 프레임으로부터 1번째 이전의 프레임을 의미한다. 여기서, 디스플레이 장치는 1번째 이전 프레임(631)이 디스플레이 장치 상에 표시된 프레임과 중복되어 표시되지 않도록 하기 위하여, 1번째 이전 프레임(631)에 마스크(mask)를 적용할 수 있다. 이후, 디스플레이 장치는 배율(scale)을 누적(accumulate)하고, 누적된 배율에 기초하여 2번째 이전 프레임(632)을 표시할 영역을 확대 또는 축소할 수 있다(640). 예를 들어, 배율(scale)이 2인 경우, 디스플레이 장치는 1번째 이전 프레임을 표시할 영역을 2배 확대하고, 2번째 이전 프레임을 표시할 영역을 4배 확대할 수 있다. 이후, 디스플레이 장치는 배율을 누적(accumulate)하고, 누적된 배율에 기초하여 3번째 이전 프레임(633)을 표시할 위치를 이동할 수 있다(650). 630에서와 마찬가지로, 2번째 이전 프레임(632) 및 3번째 이전 프레임(633)에 대하여 다른 프레임과 중복하여 표시되지 않도록 마스크(mask)를 적용할 수 있다. 디스플레이 장치는 배율을 누적하고, 디스플레이 장치에 출력된 프레임의 이전 프레임을 표시할 영역을 확대 또는 축소하는 과정을 N회 반복할 수 있다.
이후, 확대 또는 축소된 프레임들(631, 632, 633)을 동영상이 출력된 영역(210)의 주변 영역(220)에 출력할 수 있다(660).
도 7은 본 발명의 또 다른 실시예에 따라 동영상의 이동 유형이 회전 이동인 경우의 영상 처리 및 영상 출력 방법을 도시한 도면이다.
디스플레이 장치는 동영상을 출력(710)하고, 출력된 동영상으로부터 모션 벡터를 검출할 수 있다. 720은 동영상이 출력되는 영역(210)에 포함된 모션 벡터를 검출하는 도면이다. 디스플레이 장치는 출력된 동영상을 복수 개의 블록들로 분할하고, 분할된 블록들로부터 모션 벡터를 검출할 수 있다. 720에서와 같이, 복수 개의 블록들로부터 검출된 복수 개의 모션 벡터들이 한 지점을 중심축으로 회전하는 경우, 디스플레이 장치는 동영상의 이동 유형이 회전 이동인 것으로 판단할 수 있다. 동영상의 이동 유형이 회전 이동인 경우, 디스플레이 장치는 블록들로부터 검출된 복수 개의 모션 벡터에 기초하여 디스플레이 장치에 출력된 동영상의 프레임 이전의 프레임을 회전할 회전각을 결정할 수 있다. 여기서, 회전각은 검출된 모션 벡터들의 크기에 기초하여 결정될 수 있다. 다만, 이에 한정되는 것은 아니며 실시예에 따라 다르게 구현될 수 있다.
이후, 디스플레이 장치는 결정된 회전각에 기초하여 1번째 이전 프레임(731)을 표시할 영역을 회전시킬 수 있다(730). 1번째 이전 프레임(731)은 디스플레이 장치 상에 표시된 동영상의 프레임으로부터 1번째 이전의 프레임을 의미한다. 여기서, 디스플레이 장치는 1번째 이전 프레임(731)이 디스플레이 장치 상에 표시된 프레임과 중복되어 표시되지 않도록 하기 위하여, 1번째 이전 프레임(731)에 마스크(mask)를 적용할 수 있다. 이후, 디스플레이 장치는 회전각을 누적(accumulate)하고, 누적된 회전각에 기초하여 2번째 이전 프레임(732)을 표시할 영역을 회전시킬 수 있다(640). 예를 들어, 회전각이 15도인 경우, 디스플레이 장치는 1번째 이전 프레임을 표시할 영역을 15도만큼 회전시키고, 2번째 이전 프레임을 표시할 영역을 30도만큼 회전시킬 수 있다. 이후, 디스플레이 장치는 회전각을 누적(accumulate)하고, 누적된 회전각에 기초하여 3번째 이전 프레임(733)을 표시할 위치를 이동할 수 있다(750). 730에서와 마찬가지로, 2번째 이전 프레임(732) 및 3번째 이전 프레임(733)에 대하여 다른 프레임과 중복하여 표시되지 않도록 마스크(mask)를 적용할 수 있다. 디스플레이 장치는 회전각을 누적하고, 디스플레이 장치에 출력된 프레임의 이전 프레임을 표시할 영역을 회전시키는 과정을 N회 반복할 수 있다.
이후, 회전된 프레임들(731, 732, 733)을 동영상이 출력된 영역(210)의 주변 영역(220)에 출력할 수 있다(760).
도 8은 본 발명의 또 다른 실시예에 따른 영상 처리 방법을 도시한 순서도이다.
본 발명의 일 실시예에 따르면, 디스플레이 장치는 동영상을 출력할 수 있다(S810). 이후, 디스플레이 장치는 동영상과 함께 출력되는 음성 데이터의 스펙트럼을 분석할 수 있다(S820). S820 단계에서, 디스플레이 장치는 음성 데이터의 스펙트럼으로부터 음성 신호의 최고 음량(max volume), 최저 음량(minimum volume), 좌측 음량(left volume), 우측 음량(right volume), 박자(beat) 등을 결정할 수 있다.
이후, 디스플레이 장치는 S820 단계에서 음성 데이터를 분석한 결과에 따라 생성된 영상을 출력할 수 있다(S830).
도 9는 본 발명의 일 실시예에 따라 동영상의 주변에 영상이 출력되는 예시를 도시한 도면이다.
본 발명의 일 실시예에 따르면, 디스플레이 장치는 동영상이 출력되는 영역(210)의 주변 영역(220)에 음성 데이터의 스펙트럼으로부터 결정된 음성 신호의 최고 음량 또는 최저 음량에 기초하여 기 설정된 도형(910)을 확대 또는 축소하여 출력할 수 있다.
즉, 음성 신호의 최고 음량 또는 최저 음량이 큰 경우, 기 설정된 도형(910)을 크게 표시할 수 있다. 반대로, 음성 신호의 최고 음량 또는 최저 음량이 작은 경우, 기 설정된 도형(910)을 작게 표시할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 음성 신호의 박자에 따라 기 설정된 도형(910)을 확대 또는 축소할 수 있다.
본 발명의 실시 예에 따르면, 도 9 및 도 10에 도시된 도형들(910, 1010, 1020)은 기 설정된 일반 도형 또는 동영상의 영상 정보를 포함하는 도형일 수 있다.
도 10은 본 발명의 다른 실시예에 따라 동영상의 주변에 영상이 출력되는 예시를 도시한 도면이다.
본 발명의 일 실시예에 따르면, 디스플레이 장치는 동영상이 출력되는 영역(210)의 주변 영역(220)에 음성 데이터의 스펙트럼으로부터 결정된 좌측 음량 및 우측 음량에 기초하여 기 설정된 도형(1010, 1020)을 디스플레이할 수 있다.
즉, 음성 신호의 좌측 음량보다 우측 음량이 더 큰 경우, 디스플레이 장치는 주변 영역의 좌측에 기 설정된 도형(1010)을 작게 표시할 수 있다. 또한, 디스플레이 장치는 주변 영역의 우측에 기 설정된 도형(1020)을 크게 표시할 수 있다.
도 11은 본 발명의 또 다른 실시예에 따른 영상 처리 방법을 도시한 순서도이다.
먼저, 디스플레이 장치는 동영상을 출력한다(S1110). 디스플레이 장치는 출력되는 동영상에 포함된 영상 객체를 인식할 수 있다(S1120). 여기서, 영상 객체는 동영상에 포함된 형상을 의미한다. 예를 들어, 동영상에 사람이나 공이 포함되어 있는 경우, 사람이나 공은 영상 객체로 언급될 수 있다.
디스플레이 장치는 다양한 방법을 이용하여 영상 객체를 인식할 수 있다. 예를 들어, 디스플레이 장치는 디스플레이 장치 상에 출력되는 동영상의 프레임에 대한 영상 인식(image recognition)을 이용하여 영상 객체를 인식할 수 있다. 또 다른 예로, 디스플레이 장치는 동영상에 포함된 메타 데이터로부터 영상 객체를 인식할 수 있다. 여기서, 메타 데이터는 동영상에 관한 정보를 설명하기 위한 데이터로서, 동영상에 포함된 영상 객체에 관한 정보를 포함할 수 있다.
이후, 디스플레이 장치는 영상 객체가 디스플레이 장치 상에 동영상이 출력되는 영역을 벗어났는지 판단할 수 있다(S1130). 영상 객체가 디스플레이 장치 상에 동영상이 출력되는 영역을 벗어난 경우, 디스플레이 장치는 영상 객체를 포함하는 영상을 생성할 수 있다(S1140). 이후, 디스플레이 장치는 S1140단계에서 생성된 영상을 동영상이 출력되는 영역의 주변 영역에 디스플레이할 수 있다.
도 12는 본 발명의 일 실시예에 따라 동영상에 포함된 객체를 포함하는 영상을 동영상의 주변에 출력하는 예시를 도시한 도면이다.
1210에서와 같이, 디스플레이 장치는 영상 객체인 공(1211)을 포함하는 동영상을 출력할 수 있다. 동영상이 재생됨에 따라서, 공(1211)이 동영상이 출력되는 영역(210)을 벗어나는 경우, 디스플레이 장치는 동영상이 출력되는 영역(210)의 주변 영역(220)에 공(1211)을 디스플레이할 수 있다(1220)
도 13은 본 발명의 일 실시예에 따른 디스플레이 장치의 구성을 간단히 도시한 구조도이다.
본 발명의 일 실시예에 따른 디스플레이 장치(200)는 영상 생성부(1310) 및 보조 영상 출력부(1320)를 포함할 수 있다.
또한, 도면에 도시되지는 않았으나, 디스플레이 장치(200)는 동영상을 출력하기 위한 화면(미도시)을 더 포함할 수 있다. 디스플레이 장치(200)는 화면(미도시)에 디스플레이되는 동영상에 포함된 정보로부터 영상을 생성할 수 있다.
본 발명의 일 실시예에 따르면, 디스플레이 장치(200)는 디스플레이 장치의 화면에 출력되고 있는 동영상의 프레임 이전의 적어도 하나의 프레임에 포함된 이미지의 적어도 일 부분을 포함할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 영상 생성부(1310)는 동영상에 포함된 정보 중 모션 벡터를 이용하여 영상을 생성할 수 있다. 영상 생성부(1310)는 모션 벡터에 기초하여 동영상의 이동 유형을 평행 이동, 회전 이동 및 중심 이동 중에서 어느 하나를 선택할 수 있다. 다만, 본 발명에 있어서, 동영상의 이동 유형이 이에 한정되는 것은 아니다. 영상 생성부(1310)는 선택된 동영상의 이동 유형에 따라서 영상을 생성할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 영상 생성부(1310)는 선택된 이동 형태 및 모션 벡터에 기초하여 적어도 하나의 프레임에 포함된 이미지를 출력할 영역을 절정할 수 있다.
보조 영상 출력부(1320)는 영상 생성부(1310)에서 생성된 영상을 동영상이 출력되는 영역의 주변 영역에 디스플레이할 수 있다. 보조 영상 출력부(1320)는 영상 생성부(1310)에서 생성된 영상을 동영상의 주변 영역에 디스플레이 하기 위한 출력 수단을 포함할 수 있다. 보조 영상 출력부(1320)에 포함된 출력 수단은 본 발명의 실시예에 따라서 다양하게 구현될 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 영상 생성부(1310)는 동영상에 포함된 음성 데이터에 기초하여 영상을 생성할 수 있다. 일반적으로, 동영상 재생 시 시각 콘텐트뿐만 아니라 음성 콘텐트가 함께 재생된다. 이 때, 영상 생성부(1310)는 음성 데이터의 스펙트럼을 분석하는 스펙트럼 분석 모듈(미도시)을 포함할 수 있다. 영상 생성부(1310)는 분석 결과에 기초하여 영상을 생성할 수 있다. 여기서, 영상 생성부(1310)는 스펙트럼 분석 모듈(미도시)에서 분석된 스펙트럼에 포함된 음성 데이터의 박자, 최소 음량, 최대 음량, 좌측 음량 및 우측 음량 중 적어도 하나에 기초하여 영상을 생성할 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니다.
또한, 본 발명의 또 다른 실시예에 따르면, 영상 생성부(1310)는 디스플레이 장치에 출력되고 있는 동영상에 포함된 영상 객체를 인식하는 객체 인식 모듈(미도시)을 더 포함할 수 있다. 객체 인식 모듈(미도시)은 실시예에 따라 다양하게 구현될 수 있다. 실시예에 따라서, 객체 인식 모듈(미도시)은 영상 인식(image recognition)이나 동영상에 포함된 메타 데이터를 이용하여 동영상에 포함된 영상 객체를 인식할 수 있다. 동영상이 재생됨에 따라서, 객체 인식 모듈(미도시)은 영상 객체가 동영상이 출력되는 영역을 벗어나는지 판단할 수 있다. 영상 객체가 동영상이 출력되는 영역을 벗어나는 경우, 영상 생성부(1310)는 영상 객체를 포함하는 영상을 생성할 수 있다.
도 14는 본 발명의 일 실시예에 따라 동영상의 주변에 영상을 출력하는 예시를 도시한 도면이다.
본 발명의 일 실시예에 따르면, 보조 영상 출력부(1320)는 동영상의 주변 영역에 영상을 디스플레이하기 위한 프로젝터(1320-1)를 포함할 수 있다. 예를 들어, 보조 영상 출력부(1320)는 프로젝터(1320-1)를 이용하여 디스플레이 장치(200) 후면에 위치한 벽면(1410)에 영상 생성부(1310)에서 생성된 영상을 투사할 수 있다.
도 15는 본 발명의 다른 실시예에 따라 동영상의 주변에 영상을 출력하는 예시를 도시한 도면이다.
본 발명의 일 실시예에 따르면, 보조 영상 출력부(1320)는 디스플레이 장치(200)의 적어도 일 측면에 위치하는 보조 영상 출력 수단(1320-2)을 구비할 수 있다. 예를 들어, 보조 영상 출력 수단(1320-2)은 디스플레이 장치(200)의 일 측면에 결합된 투명 디스플레이(transparent display) 일 수 있다. 즉, 보조 영상 출력 수단(1320-2)은 영상이 표시되지 않는 경우, 투명한 상태를 유지할 수 있다. 영상 생성부(1310)이 동영상에 추가적인 효과를 부여하기 위한 영상을 생성한 경우, 보조 영상 출력 수단(1320-2)은 생성된 영상을 디스플레이할 수 있다.
본 발명의 실시예에 따라서, 보조 영상 출력 수단(1320-2)은 동영상을 출력하는 디스플레이 수단과 하나의 장치로 구현되거나, 디스플레이 장치(200)와 연결된 별개의 장치로 구현될 수 있다.
도 16은 본 발명의 또 다른 실시예에 따라 동영상의 주변에 영상을 출력하는 예시를 도시한 도면이다.
본 발명의 일 실시예에 따르면, 디스플레이 장치(200)가 충분히 큰 면적을 가지는 디스플레이 수단을 구비하는 경우, 동영상이 출력되는 영역(210)과 영상 생성부(1310)에서 생성된 영상이 출력되는 영역(1320-3)은 하나의 디스플레이 수단을 이용하여 출력될 수도 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. 컴퓨터 판독 가능 매체는 하드 디스크, CD, DVD, 블루레이 및 플래시 메모리 등으로 구성될 수 있다. 본 발명의 일 실시예에 따른 기록 매체에 디스플레이 장치의 화면에 상기 동영상을 출력하고, 디스플레이 장치에 출력되고 있는 동영상에 포함된 정보로부터 영상을 생성하고, 동영상이 출력되는 영역의 주변에 생성된 영상을 출력하기 위한 프로그램이 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (19)

  1. 동영상을 출력하는 디스플레이 장치가 영상을 처리하는 방법에 있어서,
    상기 디스플레이 장치의 화면에 상기 동영상을 출력하는 단계; 및
    상기 디스플레이 장치에 출력되고 있는 동영상에 포함된 정보로부터 생성된 영상을 상기 동영상이 출력되는 영역의 주변에 상기 생성된 영상을 출력하는 단계를 포함하며,
    상기 디스플레이 장치에 출력되고 있는 동영상에 포함된 음성 데이터에 기초하여 상기 영상을 생성하는 단계를 더 포함하는, 영상을 처리하는 방법.
  2. 제 1 항에 있어서,
    상기 생성된 영상은,
    상기 디스플레이 장치의 화면에 출력되고 있는 동영상의 프레임 이전의 적어도 하나의 프레임에 포함된 이미지의 적어도 일 부분을 포함하는, 영상을 처리하는 방법.
  3. 제 2 항에 있어서,
    상기 디스플레이 장치에 디스플레이되는 상기 동영상에 포함된 정보는,
    상기 동영상에 포함된 모션 벡터(Motion Vector)를 포함하는, 영상을 처리하는 방법.
  4. 제 3 항에 있어서,
    상기 영상을 처리하는 방법은,
    상기 모션 벡터에 기초하여, 상기 디스플레이 장치에 출력 되고 있는 상기 동영상의 이동 유형을 평행 이동, 회전 이동 및 중심 이동 중에서 어느 하나를 선택하고, 상기 선택된 이동 유형에 따라 영상을 생성하는 단계를 더 포함하는, 영상을 처리하는 방법.
  5. 제 4 항에 있어서,
    상기 영상을 생성하는 단계는,
    상기 선택된 이동 유형 및 상기 모션 벡터에 기초하여 상기 적어도 하나의 프레임의 이미지를 출력할 영역을 결정하는 단계; 및
    상기 결정된 영역에 기초하여 영상을 생성하는 단계를 포함하는, 영상을 처리하는 방법.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 음성 데이터에 기초하여 상기 영상을 생성하는 단계는,
    상기 음성 데이터의 스펙트럼을 분석하는 단계; 및
    상기 분석된 스펙트럼에 포함된 음성 데이터의 박자, 최소 음량, 최대 음량, 좌측 음량 및 우측 음량 중 적어도 하나에 기초하여 상기 영상을 생성하는 단계를 포함하는, 영상을 처리하는 방법.
  8. 제 1 항에 있어서,
    상기 영상을 처리하는 방법은,
    상기 디스플레이 장치에 출력되고 있는 동영상에 포함된 영상 객체를 인식하는 단계; 및
    상기 영상 객체가 상기 동영상이 출력되는 영역을 벗어남에 따라, 상기 영상 객체를 포함하는 영상을 생성하는 단계를 더 포함하는, 영상을 처리하는 방법.
  9. 제 8 항에 있어서,
    상기 영상 객체를 인식하는 단계는,
    상기 디스플레이 장치에 출력되고 있는 동영상에 포함된 메타데이터를 이용하여 상기 객체를 인식하는 단계를 포함하는, 영상을 처리하는 방법.
  10. 동영상을 출력하는 디스플레이 장치에 있어서,
    상기 동영상을 출력하는 상기 디스플레이 장치의 화면;
    상기 디스플레이 장치에 출력되고 있는 상기 동영상에 포함된 정보로부터 영상을 생성하는 영상 생성부; 및
    상기 동영상이 출력되는 영역의 주변에 상기 영상 생성부에서 생성된 상기 영상을 출력하는 보조 영상 출력부를 포함하며,
    상기 영상 생성부는,
    상기 디스플레이 장치에 출력되고 있는 동영상에 포함된 음성 데이터에 기초하여 상기 영상을 생성하는 것을 특징으로 하는 디스플레이 장치.
  11. 제 10 항에 있어서,
    상기 생성된 영상은,
    상기 디스플레이 장치의 화면에 출력되고 있는 동영상의 프레임 이전의 적어도 하나의 프레임에 포함된 이미지의 적어도 일 부분을 포함하는, 디스플레이 장치.
  12. 제 11 항에 있어서,
    상기 디스플레이 장치에 디스플레이되는 상기 동영상에 포함된 정보는,
    상기 동영상에 포함된 모션 벡터(Motion Vector)를 포함하는, 디스플레이 장치.
  13. 제 12 항에 있어서,
    상기 영상 생성부는,
    상기 모션 벡터에 기초하여, 상기 디스플레이 장치에 출력 되고 있는 상기 동영상의 이동 유형을 평행 이동, 회전 이동 및 중심 이동 중에서 어느 하나를 선택하고, 상기 선택된 이동 유형에 따라서 영상을 생성하는, 디스플레이 장치.
  14. 제 13 항에 있어서,
    상기 영상 생성부는,
    상기 선택된 이동 유형 및 상기 모션 벡터에 기초하여 상기 적어도 하나의 프레임의 이미지를 출력할 영역을 결정하고,
    상기 보조 영상 출력부는,
    상기 결정된 영역에 기초하여, 상기 적어도 하나의 프레임에 포함된 이미지의 적어도 일 부분을 출력하는, 디스플레이 장치.
  15. 삭제
  16. 제 10항에 있어서,
    상기 영상 생성부는,
    상기 음성 데이터의 스펙트럼을 분석하는 스펙트럼 분석 모듈을 포함하고, 상기 분석된 스펙트럼에 포함된 음성 데이터의 박자, 최소 음량, 최대 음량, 좌측 음량 및 우측 음량 중 적어도 하나에 기초하여 상기 영상을 생성하는, 디스플레이 장치.
  17. 제 10 항에 있어서,
    상기 영상 생성부는,
    상기 디스플레이 장치에 출력되고 있는 동영상에 포함된 영상 객체를 인식하는 객체 인식 모듈을 포함하고,
    상기 영상 객체가 상기 동영상이 출력되는 영역을 벗어남에 따라, 상기 영상 객체를 포함하는 영상을 생성하는, 디스플레이 장치.
  18. 제 17 항에 있어서,
    상기 객체 인식 모듈은,
    상기 디스플레이 장치에 출력되고 있는 동영상에 포함된 메타데이터를 이용하여 상기 객체를 인식하는, 디스플레이 장치.
  19. 제 1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020130106301A 2013-04-25 2013-09-04 영상을 디스플레이 하는 방법 및 그 장치 KR102121530B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP14165869.0A EP2797314B1 (en) 2013-04-25 2014-04-24 Method and Apparatus for Displaying an Image
US14/262,118 US9930268B2 (en) 2013-04-25 2014-04-25 Method and apparatus for displaying an image surrounding a video image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361815930P 2013-04-25 2013-04-25
US61/815,930 2013-04-25

Publications (2)

Publication Number Publication Date
KR20140127719A KR20140127719A (ko) 2014-11-04
KR102121530B1 true KR102121530B1 (ko) 2020-06-10

Family

ID=52451892

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130106301A KR102121530B1 (ko) 2013-04-25 2013-09-04 영상을 디스플레이 하는 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102121530B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113508602A (zh) * 2019-05-01 2021-10-15 谷歌有限责任公司 视频的偏置照明效果生成

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070141545A1 (en) * 2005-12-05 2007-06-21 Kar-Han Tan Content-Based Indexing and Retrieval Methods for Surround Video Synthesis
JP2010516069A (ja) * 2006-12-21 2010-05-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 光放射を表示するシステム、方法、コンピュータ読み取り可能な媒体、及びユーザ・インタフェース

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000030429A (ko) * 2000-02-29 2000-06-05 김성홍 컴퓨터를 이용한 애니메이션영화 제작방법
US20090263023A1 (en) * 2006-05-25 2009-10-22 Nec Corporation Video special effect detection device, video special effect detection method, video special effect detection program, and video replay device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070141545A1 (en) * 2005-12-05 2007-06-21 Kar-Han Tan Content-Based Indexing and Retrieval Methods for Surround Video Synthesis
JP2010516069A (ja) * 2006-12-21 2010-05-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 光放射を表示するシステム、方法、コンピュータ読み取り可能な媒体、及びユーザ・インタフェース

Also Published As

Publication number Publication date
KR20140127719A (ko) 2014-11-04

Similar Documents

Publication Publication Date Title
JP5539313B2 (ja) テレビジョン受像機および方法
US20150381925A1 (en) Smart pause for neutral facial expression
US9973727B2 (en) Real-time hyper-lapse video creation via frame selection
JP2014096757A (ja) 画像処理装置および画像処理方法、並びにプログラム
US10580143B2 (en) High-fidelity 3D reconstruction using facial features lookup and skeletal poses in voxel models
KR101952260B1 (ko) 다수의 동영상 썸네일을 동시에 표시하기 위한 영상 재생 장치 및 방법
CN109845245B (zh) 动态影像处理方法及计算机可读记录介质
KR20160102248A (ko) 오브젝트 추적 박스의 디스플레이를 안정화시키기 위한 시스템 및 방법
BRPI1011189B1 (pt) Sistema baseado em computador para selecionar pontos de visualização ótimos e meio de armazenamento de sinal legível por máquina não transitória
CN107455008B (zh) 用于播放视频内容的播放装置、操作方法以及可读记录介质
US20180336927A1 (en) Seamless Output Video Variations for an Input Video
CN111095939A (zh) 识别媒体项目的先前流传输部分以避免重复重放
KR102426089B1 (ko) 전자 장치 및 전자 장치의 요약 영상 생성 방법
KR102121530B1 (ko) 영상을 디스플레이 하는 방법 및 그 장치
CN105898320A (zh) 基于安卓平台的全景视频的解码方法、装置及终端设备
EP2797314B1 (en) Method and Apparatus for Displaying an Image
US10880515B2 (en) Audio-video reproduction for closed caption display control based on multi-media content
KR102595096B1 (ko) 지능적 가로-세로 영상 변환을 위한 전자 장치, 시스템 및 방법
EP2689583B1 (en) Panorama picture scrolling
EP3523958A1 (en) Picture-in-picture base video streaming for mobile devices
TWI672946B (zh) 播放視頻的方法及裝置
US10803905B2 (en) Video processing apparatus, video processing method thereof and non-transitory computer readable medium
KR102596308B1 (ko) 지능적 영상 변환을 위한 전자 장치 및 방법
US20200104624A1 (en) Apparatus and method for infinitely reproducing frames in electronic device
JP2014212484A (ja) 表示制御装置、表示制御装置の制御方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant