KR101574068B1 - 영상 처리 방법 및 장치 - Google Patents

영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR101574068B1
KR101574068B1 KR1020080134954A KR20080134954A KR101574068B1 KR 101574068 B1 KR101574068 B1 KR 101574068B1 KR 1020080134954 A KR1020080134954 A KR 1020080134954A KR 20080134954 A KR20080134954 A KR 20080134954A KR 101574068 B1 KR101574068 B1 KR 101574068B1
Authority
KR
South Korea
Prior art keywords
depth
value
correction
image
correction information
Prior art date
Application number
KR1020080134954A
Other languages
English (en)
Other versions
KR20100076785A (ko
Inventor
이대종
박성욱
정현권
정길수
전혜영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080134954A priority Critical patent/KR101574068B1/ko
Priority to US12/563,310 priority patent/US8705844B2/en
Priority to EP09835203.2A priority patent/EP2371139B1/en
Priority to CN200980152915.1A priority patent/CN102265624B/zh
Priority to PCT/KR2009/007387 priority patent/WO2010074437A2/en
Publication of KR20100076785A publication Critical patent/KR20100076785A/ko
Application granted granted Critical
Publication of KR101574068B1 publication Critical patent/KR101574068B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Abstract

뎁쓰 보정 값 및 상기 뎁쓰 보정 값을 이용하여 보정된 뎁쓰 값 중 하나를 포함하는 보정 정보를 추출하고, 보정 정보에 뎁쓰 보정 값이 포함되어 있는 경우, 뎁쓰 보정 값을 이용하여 2차원 영상의 픽셀에 적용할 뎁쓰 값을 보정하고 보정된 뎁쓰 값을 이용하여 2차원 영상에 대한 뎁쓰 맵을 생성하고, 보정 정보에 보정된 뎁쓰 값이 포함되어 있는 경우, 보정된 뎁쓰 값을 이용하여 2차원 영상에 대한 뎁쓰 맵을 생성하고, 뎁쓰 맵을 이용하여 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 구하고, 구한 위치에 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하는 영상 처리 방법이 개시된다.
3차원, 영상 변환, 메타데이터, 뎁쓰 맵, 보정 정보

Description

영상 처리 방법 및 장치{Image processing method and apparatus}
본 발명은 영상 처리 방법 및 그 장치에 대한 것으로, 보다 구체적으로 2차원 영상을 이용하여 3차원 영상을 생성할 때, 사용자의 선택에 따라 3차원 영상의 깊이감을 조절하고 이를 저장할 수 있는 영상 처리 방법 및 장치에 대한 것이다.
디지털 기술의 발달로 3차원 영상 기술이 널리 보급되고 있다. 3차원 영상 기술은 2차원 영상에 깊이에 대한 정보를 부여하여 보다 사실적인 영상을 표현하는 기술이다.
사람의 눈은 가로 방향으로 소정 거리만큼 떨어져 있으므로 좌안과 우안이 보는 2차원 영상이 서로 다른데 이를 양안시차라고 한다. 뇌는 서로 다른 두 개의 2차원 영상을 융합하여 원근감과 실재감이 있는 3차원 영상을 생성한다.
3차원 영상 기술은 처음부터 비디오 데이터를 3차원으로 영상으로 생성하는 기술과, 2차원 영상으로 생성된 비디오 데이터를 3차원 영상으로 변환하는 기술이 있으며, 두 기술에 대한 연구가 함께 이루어지고 있다.
본 발명은 사용자의 선택에 따라 3차원 영상의 깊이감을 조절하고, 사용자의 선택 또는 조절된 깊이감에 대한 정보를 저장하고, 추후 이를 다시 이용할 수 있는 영상 처리 방법 및 장치에 대한 것이다.
본 발명의 일 측면에 따르면, 뎁쓰 보정 값 및 상기 뎁쓰 보정 값을 이용하여 보정된 뎁쓰 값 중 하나를 포함하는 보정 정보를 추출하는 단계, 상기 보정 정보에 상기 뎁쓰 보정 값이 포함되어 있는 경우, 상기 뎁쓰 보정 값을 이용하여 2차원 영상의 픽셀에 적용할 뎁쓰 값을 보정하고 상기 보정된 뎁쓰 값을 이용하여 상기 2차원 영상에 대한 뎁쓰 맵을 생성하고, 상기 보정 정보에 상기 보정된 뎁쓰 값이 포함되어 있는 경우, 상기 보정된 뎁쓰 값을 이용하여 상기 2차원 영상에 대한 뎁쓰 맵을 생성하는 단계, 상기 뎁쓰 맵을 이용하여 상기 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 구하는 단계 및 상기 구한 위치에 상기 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하는 단계를 포함하는 영상 처리 방법을 제공할 수 있다.
바람직한 실시 예에서, 상기 보정 정보는 상기 2차원 영상을 식별하기 위한 영상 식별 정보를 포함한다. 또한, 상기 보정 정보는 상기 보정 정보에 상기 뎁쓰 보정 값이 포함되어 있는지 또는 상기 뎁쓰 보정 값을 이용하여 보정된 뎁쓰 값이 포함되어 있는지를 식별하기 위한 보정 정보 유형 정보를 포함한다.
또한, 상기 보정 정보는 상기 2차원 영상이 포함된 타이틀을 식별하기 위한 타이틀 식별 정보, 상기 타이틀이 기록된 디스크를 식별하기 위한 디스크 식별 정 보 및 상기 보정 정보가 사용자별로 저장되어 있는 경우, 상기 보정 정보가 어떤 사용자에 대한 것인지를 식별하기 위한 사용자 식별 정보 중 하나 이상을 포함한다. 또한, 상기 보정 정보는 상기 2차원 영상에 포함되어 있는 복수의 오브젝트들 및 배경 각 각에 대해, 뎁쓰 보정 값 및 상기 뎁쓰 보정 값을 이용하여 보정된 뎁쓰 값 중 하나를 포함한다.
또한, 상기 뎁쓰 보정 값을 이용하여 2차원 영상의 픽셀에 적용할 뎁쓰 값을 보정하는 단계는 상기 2차원 영상의 모든 픽셀의 뎁쓰 값을 동일한 비율만큼 증가시키거나 감소시키는 단계를 포함한다. 또한, 상기 2차원 영상의 픽셀에 적용할 뎁쓰 값은 N 부터 M(N<M, N, M은 정수)의 뎁쓰 값 범위 내이고, 상기 뎁쓰 보정 값을 이용하여 2차원 영상의 픽셀에 적용할 뎁쓰 값을 보정하는 단계는 상기 N이 상기 N보다 큰 값이 되도록 조절하고 상기 M이 상기 M보다 작은 값이 되도록 조절하는 것 중 하나 이상을 수행하여 상기 2차원 영상의 픽셀들이 조절된 범위의 뎁쓰 값 중 하나의 값을 뎁쓰 값으로 갖도록 하는 단계를 포함한다.
본 발명의 다른 측면에 따르면, 위치 보정 값 및 상기 위치 보정 값을 이용하여 보정된 위치 값 중 하나를 포함하는 보정 정보를 추출하는 단계, 상기 보정 정보에 상기 위치 보정 값이 포함되어 있는 경우, 2차원 영상에 대한 뎁쓰 맵을 이용하여 구해진 상기 2차원 영상의 각 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 상기 위치 보정 값을 이용하여 보정하고 상기 보정된 위치에 상기 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하고, 상기 보정 정보에 상기 보정된 위치 값이 포함되어 있는 경우, 상기 보정된 위치 값을 이용하여 구해진 상기 2차원 영상 의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치에 상기 픽셀을 매핑시켜 좌안 영상 및 우안 영상을 생성하는 단계를 포함하는 영상 처리 방법을 제공할 수 있다.
본 발명의 또 다른 측면에 따르면, 사용자로부터 수신한 뎁쓰 보정 값을 이용하여 2차원 영상의 픽셀에 적용할 뎁쓰 값을 보정하는 단계 및 상기 보정된 뎁쓰 값을 이용하여 생성된 상기 2차원 영상에 대한 뎁쓰 맵을 이용하여 상기 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 구하는 단계, 상기 구한 위치에 상기 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하는 단계 및 상기 뎁쓰 보정 값 및 상기 보정된 뎁쓰 값 중 하나 이상을 포함하는 보정 정보를 생성하고, 상기 보정 정보를 저장하는 단계를 포함하는 영상 처리 방법을 제공할 수 있다.
본 발명의 또 다른 측면에 따르면, 2차원 영상의 픽셀에 적용할 뎁쓰 값을 이용하여 상기 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 구하는 단계, 사용자로부터 수신한 위치 보정 값에 따라, 상기 위치를 조절하는 단계, 상기 조절된 위치에 상기 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하는 단계, 및 상기 위치 보정 값 및 상기 조절된 위치 중 하나 이상을 포함하는 보정 정보를 생성하고, 상기 보정 정보를 저장하는 단계를 포함하는 영상 처리 방법을 제공할 수 있다.
본 발명의 또 다른 측면에 따르면, 뎁쓰 보정 값 및 상기 뎁쓰 보정 값을 이용하여 보정된 뎁쓰 값 중 하나를 포함하는 보정 정보를 추출하는 보정 정보 처리부, 상기 보정 정보에 상기 뎁쓰 보정 값이 포함되어 있는 경우, 상기 뎁쓰 보정 값을 이용하여 2차원 영상의 픽셀에 적용할 뎁쓰 값을 보정하고 상기 보정된 뎁쓰 값을 이용하여 상기 2차원 영상에 대한 뎁쓰 맵을 생성하고, 상기 보정 정보에 상기 보정된 뎁쓰 값이 포함되어 있는 경우, 상기 보정된 뎁쓰 값을 이용하여 상기 2차원 영상에 대한 뎁쓰 맵을 생성하는 뎁쓰 맵 생성부, 상기 뎁쓰 맵을 이용하여 상기 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 구하고, 상기 구한 위치에 상기 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하는 3차원 영상 생성부를 포함하는 영상 처리 장치를 제공할 수 있다.
본 발명의 또 다른 측면에 따르면, 위치 보정 값 및 상기 위치 보정 값을 이용하여 보정된 위치 값 중 하나를 포함하는 보정 정보를 추출하는 보정 정보 처리부, 상기 보정 정보에 상기 위치 보정 값이 포함되어 있는 경우, 2차원 영상에 대한 뎁쓰 맵을 이용하여 구해진 상기 2차원 영상의 각 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 상기 위치 보정 값을 이용하여 보정하고 상기 보정된 위치에 상기 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하고, 상기 보정 정보에 상기 보정된 위치 값이 포함되어 있는 경우, 상기 보정된 위치 값을 이용하여 구해진 상기 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치에 상기 픽셀을 매핑시켜 좌안 영상 및 우안 영상을 생성하는 3차원 영상 생성부를 포함하는 영상 처리 장치를 제공할 수 있다.
본 발명의 또 다른 측면에 따르면, 사용자로부터 뎁쓰 보정 값을 수신하는 유저 인터페이스, 상기 뎁쓰 보정 값을 이용하여 2차원 영상의 픽셀에 적용할 뎁쓰 값을 보정하고, 상기 보정된 뎁쓰 값을 이용하여 상기 2차원 영상에 대한 뎁쓰 맵을 생성하는 뎁쓰 맵 생성부, 상기 뎁쓰 맵을 이용하여 상기 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 구하고, 상기 구한 위치에 상기 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하는 3차원 영상 생성부 및 상기 뎁쓰 보정 값 및 상기 보정된 뎁쓰 값 중 하나 이상을 포함하는 보정 정보를 생성하고, 상기 보정 정보가 로컬 스토리지에 저장되도록 하는 보정 정보 처리부를 포함하는 영상 처리 장치를 제공할 수 있다.
본 발명의 또 다른 측면에 따르면, 사용자로부터 위치 보정 값을 수신하는 유저 인터페이스, 2차원 영상의 픽셀에 적용할 뎁쓰 값을 이용하여 구해진 상기 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 상기 위치 보정 값에 따라 조절하고, 상기 조절된 위치에 상기 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하는 3차원 영상 생성부 및 상기 위치 보정 값 및 상기 조절된 위치 중 하나 이상을 포함하는 보정 정보를 생성하고, 상기 보정 정보가 저장되도록 하는 보정 정보 처리부를 포함하는 영상 처리 장치를 제공할 수 있다.
본 발명의 또 다른 측면에 따르면, 뎁쓰 보정 값 및 상기 뎁쓰 보정 값을 이용하여 보정된 뎁쓰 값 중 하나를 포함하는 보정 정보를 추출하는 단계, 상기 보정 정보에 상기 뎁쓰 보정 값이 포함되어 있는 경우, 상기 뎁쓰 보정 값을 이용하여 2차원 영상의 픽셀에 적용할 뎁쓰 값을 보정하고 상기 보정된 뎁쓰 값을 이용하여 상기 2차원 영상에 대한 뎁쓰 맵을 생성하고, 상기 보정 정보에 상기 보정된 뎁쓰 값이 포함되어 있는 경우, 상기 보정된 뎁쓰 값을 이용하여 상기 2차원 영상에 대한 뎁쓰 맵을 생성하는 단계, 상기 뎁쓰 맵을 이용하여 상기 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 구하는 단계 및 상기 구한 위치에 상기 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하는 단계를 포함하는 영상 처리 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 정보 저장 매체를 제공할 수 있다.
본 발명의 또 다른 측면에 따르면, 위치 보정 값 및 상기 위치 보정 값을 이용하여 보정된 위치 값 중 하나를 포함하는 보정 정보를 추출하는 단계, 상기 보정 정보에 상기 위치 보정 값이 포함되어 있는 경우, 2차원 영상에 대한 뎁쓰 맵을 이용하여 구해진 상기 2차원 영상의 각 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 상기 위치 보정 값을 이용하여 보정하고 상기 보정된 위치에 상기 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하고, 상기 보정 정보에 상기 보정된 위치 값이 포함되어 있는 경우, 상기 보정된 위치 값을 이용하여 구해진 상기 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치에 상기 픽셀을 매핑시켜 좌안 영상 및 우안 영상을 생성하는 단계를 포함하는 영상 처리 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 정보 저장 매체를 제공할 수 있다.
본 발명의 또 다른 측면에 따르면, 사용자로부터 수신한 뎁쓰 보정 값을 이용하여 2차원 영상의 픽셀에 적용할 뎁쓰 값을 보정하는 단계 및 상기 보정된 뎁쓰 값을 이용하여 생성된 상기 2차원 영상에 대한 뎁쓰 맵을 이용하여 상기 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 구하는 단계, 상기 구한 위치에 상기 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하는 단계 및 상기 뎁쓰 보정 값 및 상기 보정된 뎁쓰 값 중 하나 이상을 포함하는 보정 정보를 생성하고, 상기 보정 정보를 저장하는 단계를 포함하는 영상 처리 방법을 실행하기 위한 프로 그램을 저장한 컴퓨터로 판독 가능한 정보 저장 매체를 제공할 수 있다.
본 발명의 또 다른 측면에 따르면, 2차원 영상의 픽셀에 적용할 뎁쓰 값을 이용하여 상기 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 구하는 단계, 사용자로부터 수신한 위치 보정 값에 따라, 상기 위치를 조절하는 단계, 상기 조절된 위치에 상기 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하는 단계 및 상기 위치 보정 값 및 상기 조절된 위치 중 하나 이상을 포함하는 보정 정보를 생성하고, 상기 보정 정보를 저장하는 단계를 포함하는 영상 처리 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 정보 저장 매체를 제공할 수 있다.
본 발명의 실시 예에 따르면 사용자의 선택에 따라 3차원 영상의 깊이감을 조절하고, 사용자의 선택 또는 조절된 깊이감에 대한 정보를 저장하여 추후에도 동일한 깊이감을 갖는 3차원 영상을 생성할 수 있는 영상 처리 방법 및 장치를 제공할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치의 내부 블록도를 나타낸 도면이다. 도 1을 참조하면, 영상 처리 장치(100)는 비디오 데이터 디코딩부(110), 메타데이터 해석부(120), 유저 인터페이스(130), 뎁쓰 맵 생성부(140), 3차원 영상 생성부(150), 보정 정보 처리부(160) 및 로컬 스토리지(170)를 포함한다.
비디오 데이터 및/또는 비디오 데이터에 대한 메타데이터는 다중화된 상태로 또는 독립적으로 디스크나 로컬 스토리지(170)에 기록되어 있거나 또는 외부의 서버에 저장되어 있을 수 있다.
비디오 데이터 및/또는 비디오 데이터에 대한 메타데이터가 외부 서버에 저장되어 있는 경우, 영상 처리 장치(100)는 서버로부터 비디오 데이터 및/또는 비디오 데이터에 대한 메타데이터를 다운로드하고 이를 이용할 수 있다. 이를 위해 영상 처리 장치(100)는 서버와 유선 또는 무선 통신을 수행하기 위한 통신부(미도시)를 더 포함할 수 있다. 서버는 방송국이나 일반 콘텐츠 생성 업체 등의 콘텐츠 제공자가 운영하는 것으로, 비디오 데이터 및/또는 비디오 데이터에 대한 메타데이터를 저장하고 있다가 사용자가 콘텐츠를 요청하면 요청된 콘텐츠를 추출하여 이를 사용자에게 제공한다.
비디오 데이터 디코딩부(110)는 비디오 데이터를 독출하고 이를 디코딩한다. 비디오 데이터 디코딩부(110)는 디코딩된 비디오 데이터를 3차원 영상 생성부(150)로 보낸다.
메타데이터 해석부(120)는 메타데이터를 독출하고 이를 해석한다. 메타데이터에는 2차원 영상의 비디오 데이터가 3차원 영상으로 출력되기 위한 부가 정보가 포함되어 있다. 비디오 데이터는 일련의 프레임들(즉, 복수의 2차원 영상들)로 이루어져 있으므로, 메타데이터에는 프레임들에 대한 부가 정보가 포함된다. 메타데이터가 어떤 비디오 데이터에 대한 정보인지를 표시하기 위해, 메타데이터에는 비디오 데이터를 식별하기 위한 정보가 포함된다. 비디오 데이터가 디스크에 기록된 경우, 비디오 데이터를 식별하기 위한 정보는 비디오 데이터가 기록된 디스크를 식별하기 위한 디스크 식별자 및 디스크 식별자에 의해 식별되는 디스크 내에서, 비디오 데이터가 몇 번째 타이틀인지를 나타내기 위한 타이틀 식별자를 포함한다. 메타데이터가 디스크에 기록되어 있는 경우, 메타데이터는 디스크의 리드인 영역, 사용자 데이터 영역, 리드 아웃 영역 중 하나 이상의 영역에 기록되어 있을 수 있다.
하나의 프레임, 즉, 하나의 2차원 영상은 배경을 이루는 영상과, 배경을 제외한 오브젝트에 대한 영상으로 구성된다. 오브젝트는 배경을 제외한, 수직으로 서 있는 사람이나 건물 등의 개체(object)를 말한다.
메타데이터 해석부(120)는 메타데이터를 해석하여 배경에 대한 뎁쓰 맵 생성을 위한 배경용 뎁쓰 정보를 추출하고, 오브젝트에 대한 뎁쓰 맵 생성을 위한 오브젝트용 뎁쓰 정보를 추출한다. 메타데이터 해석부(120)는 배경용 뎁쓰 정보와 오브젝트용 뎁쓰 정보를 뎁쓰 맵 생성부(140)로 보낸다.
뎁쓰 맵 생성부(140)는 메타데이터 해석부(120)에 의해 해석된 메타데이터를 이용하여 2차원 영상에 대한 뎁쓰 맵(depth map)을 생성한다. 본 발명에서는 2차원 영상의 프레임에 깊이감을 부여하기 위해 뎁쓰 맵을 이용한다. 뎁쓰 값(depth value)은 영상의 소정 픽셀들이 갖는 깊이감의 정도를 뜻한다. 영상이 출력되는 방향과 평행한 방향으로 영상의 깊이 정도가 달라지는데 뎁쓰 값이 작아져 0에 가까워질수록 그 뎁쓰 값을 갖는 픽셀은 깊이감을 갖는 것으로 인식되어 시청자에게 멀게 느껴지고, 뎁쓰 값이 커질수록 그 뎁쓰 값을 갖는 픽셀은 깊이감을 갖지 않는 것으로 인식되어 시청자에게 가깝게 느껴진다. 2차원 영상의 각 픽셀들은 서로 다 른 뎁쓰 값을 갖을 수 있다.
뎁쓰 맵 생성부(140)는 배경용 뎁쓰 정보를 이용하여 배경에 대한 뎁쓰 맵을 생성한다. 배경에 대해 뎁쓰 맵을 생성한다는 것은 2차원 영상 중 배경을 이루는 영상에 깊이감을 주기 위해 배경을 이루는 영상의 각 픽셀들에 깊이감을 준다는 것을 의미한다.
뎁쓰 맵 생성부(140)는 오브젝트용 뎁쓰 정보를 이용하여 오브젝트에 대한 뎁쓰 맵을 생성한다. 오브젝트에 대한 뎁쓰 맵을 생성한다는 것은 2차원 영상 중 배경을 제외한 오브젝트에 대해, 오브젝트를 이루는 영상의 픽셀들에 깊이감을 준다는 것을 의미한다. 오브젝트가 복수인 경우, 뎁쓰 맵 생성부(140)는 복수의 오브젝트에 대한 뎁쓰 맵을 각 각 생성하고 이들을 합쳐 오브젝트들에 대한 하나의 뎁쓰 맵을 생성한다. 뎁쓰 맵 생성부(140)는 배경에 대한 뎁쓰 맵과 오브젝트에 대한 뎁쓰 맵을 합하여 2차원 영상에 대한 뎁쓰 맵을 생성한다. 뎁쓰 맵 생성부(140)는 생성된 뎁쓰 맵을 3차원 영상 생성부(150)로 보낸다.
3차원 영상 생성부(150)는 비디오 데이터 디코딩부(110)로부터 받은 디코딩된 비디오 데이터와 뎁쓰 맵 생성부(140)로부터 받은 뎁쓰 맵을 이용하여 하나의 2차원 영상에 대해 두 개의 영상, 즉, 좌안 영상 및 우안 영상을 각 각 생성한다.
3차원 영상 생성부(150)는 2차원 영상에 대한 뎁쓰 맵을 이용하여 2차원 영상의 모든 픽셀들에 대한 뎁쓰 값을 알 수 있다. 3차원 영상 생성부(150)는 2차원 영상에서 소정 위치에 있던 픽셀에 대해, 원래의 위치보다 소정 거리만큼 좌, 우로 떨어진 위치에 그 픽셀이 매핑되도록 좌, 우 영상을 생성한다. 2차원 영상의 픽셀 이 좌, 우 영상에 매핑되는 위치는 그 픽셀에 적용될 뎁쓰 값에 달라진다. 즉, 2차원 영상의 소정 픽셀의 깊이감이 커질수록, 즉, 그 픽셀의 뎁쓰 값이 0에 가까울수록 좌, 우 영상에서 그 픽셀은 원래 2차원 영상에서의 위치보다 좌, 우 수평 방향으로 더 멀리 떨어진 위치에 매핑되게 된다.
유저 인터페이스(130)는 사용자와의 인터페이스를 담당하여 사용자의 명령을 보정 정보 처리부(160)로 전달한다. 사용자는 유저 인터페이스(130)를 이용하여 영상 처리 장치(100)에 뎁쓰 보정 값 또는 위치 보정 값을 입력하고, 보정 정보 생성을 요청할 수 있다. 보정 정보가 생성되어 로컬 스토리지(170)에 저장된 후, 사용자는 유저인터페이스(130)를 통해, 보정 정보를 이용하여 보정된 깊이감을 갖는 비디오 데이터가 재생되도록 할 것인지를 선택할 수 있고 기 저장되어 있는 보정 정보를 다시 보정할 수도 있다. 유저인터페이스(130)는 리모트 콘트롤러 또는 영상 처리 장치(100)에 탑재된 키패드를 포함한다.
보정 정보 처리부(160)는 유저 인터페이스(130)를 통해 사용자로부터 입력된 뎁쓰 보정 값 또는 위치 보정 값을 이용하여 보정 정보를 생성한다. 본 발명에서, 뎁쓰 보정 값은 2차원 영상의 픽셀들에 적용될 뎁쓰 값을 조절하기 위한 값을 뜻하고, 위치 보정 값은 2차원 영상을 이용하여 좌, 우 영상을 생성할 때, 2차원 영상의 소정 위치의 픽셀이 좌, 우 영상에서 매핑되는 위치를 조절하기 위한 값을 뜻한다.
보정 정보 처리부(160)는 사용자로부터 뎁쓰 보정 값을 입력받으면, 이를 뎁쓰 맵 생성부(140)에 알려준다. 뎁쓰 맵 생성부(140)는 메타데이터를 이용하여 2차 원 영상에 대한 뎁쓰 맵을 생성하고, 보정 정보 처리부(160)로부터 받은 뎁쓰 보정 값을 이용하여 뎁쓰 맵의 뎁쓰 값들을 조절한다. 뎁쓰 맵 생성부(140)는 뎁쓰 맵의 뎁쓰 값들을 조절하기 위해 2차원 영상의 모든 픽셀들에 대한 뎁쓰 값을 동일한 비율만큼 증가시키거나 감소시킬 수 있다. 예컨대, 뎁쓰 값의 범위가 0부터 255 중 하나의 값인 경우, 뎁쓰 값들을 모두 50%만큼 감소시켜 뎁쓰 값이 0부터 127 중 하나의 값이 되도록 할 수 있다. 이 경우, 2차원 영상의 모든 픽셀들에 대한 뎁쓰 값은 원래의 뎁쓰 값보다 반만큼 작아지므로, 깊이감은 두 배로 커지게 된다. 또 다른 실시 예로, 뎁쓰 맵 생성부(140)는 뎁쓰 값의 범위를 100부터 200까지의 값으로 조절할 수 있다. 이 경우, 픽셀들 간의 뎁쓰 값 차이가 최대 255였던 것이, 50으로 작아지면서 2차원 영상의 픽셀들간 깊이감 차가 감소되게 된다.
보정 정보 처리부(160)는 사용자로부터 입력받은 뎁쓰 보정 값 또는 뎁쓰 보정 값에 따라 보정된 뎁쓰 값 중 하나를 포함하는 보정 정보를 생성하고 이를 2차원 영상을 식별하기 위한 정보와 함께 로컬 스토리지(170)에 저장한다. 예컨대, 위 예에서, 보정 정보 처리부(160)는 뎁쓰 값들을 모두 50% 감소하라는 뎁쓰 보정 값을 보정 정보로 생성하고 이를 저장하거나, 또는 뎁쓰 보정 값에 의해 보정된 뎁쓰 값, 즉, 0부터 127의 뎁쓰 값의 범위를 갖는 각 픽셀들의 뎁쓰 값들을 보정 정보로 생성하고 이를 저장할 수 있다.
보정 정보 처리부(160)가 사용자로부터 위치 보정 값을 입력받는 경우, 보정 정보 처리부(160)는 이를 3차원 영상 생성부(150)에 보낸다. 3차원 영상 생성부(150)는 뎁쓰 맵 생성부(140)로부터 받은 2차원 영상에 대한 뎁쓰 맵을 이용하 여, 2차원 영상의 각 픽셀들이 소정 거리만큼 수평방향으로 떨어진 위치에 매핑되도록 좌, 우 영상을 생성하는데, 보정 정보 처리부(160)로부터 위치 보정 값을 받는 경우, 위치 보정 값을 이용하여 좌, 우 영상에서 소정 픽셀이 매핑되는 위치를 조절한다. 위치 보정 값을 이용하여 좌, 우 영상에서 소정 픽셀이 매핑되는 위치를 조절하는 방법에 대해서는 도 2를 참조하여 살펴보기로 한다.
보정 정보 처리부(160)는 사용자로부터 입력받은 위치 보정 값 또는 위치 보정 값에 따라 조절된 위치 값 중 하나를 포함하는 보정 정보를 생성하고 이를 2차원 영상을 식별하기 위한 정보와 함께 로컬 스토리지(170)에 저장한다.
로컬 스토리지(local storage)(170)는 서버로부터 다운로드된 정보를 저장한다. 또한, 본 발명에서 로컬 스토리지(170)는 유저 인터페이스(130)를 통해 사용자로부터 입력된 뎁쓰 보정 값 또는 위치 보정 값을 보정 정보로 저장하거나, 뎁쓰 맵 생성부(140)가 뎁쓰 보정 값을 이용하여 보정한 뎁쓰 값 또는 3차원 영상 생성부(150)가 위치 보정 값을 이용하여 보정한 위치를 보정 정보로 저장한다.
3차원 영상 생성부(150)는 좌, 우 영상을 생성한 후, 좌, 우 영상이 하나의 프레임에 모두 포함된 3차원 포맷의 영상을 생성한다. 3차원 포맷으로는 탑-다운(Top and down) 포맷, 사이드-바이-사이드(Side by Side) 포맷, 그리고 인터레이스드(interlaced) 포맷 등이 있다.
3차원 영상 생성부(150)는 3차원 포맷의 영상을 출력 장치(미도시)로 보낸다. 경우에 따라, 출력 장치는 영상 처리 장치(100)에 포함될 수도 있다. 출력 장치는 좌안 영상과 우안 영상을 순차적으로 화면에 출력한다. 시청자는 한쪽 눈을 기준으로 최소 60Hz의 frame rate로 영상이 출력되어야 이미지가 끊기지 않고 순차적으로 재생된다고 인지하므로 좌/우 양안을 통해 입력된 이미지가 합쳐져서 3차원 영상으로 인지되기 위해서는 디스플레이 장치가 최소한 120Hz의 frame rate로 화면을 출력해야 한다. 출력부(460)는 1/120초 단위로 프레임에 포함된 좌, 우 영상을 순차적으로 표시한다. 이 경우, 좌, 우 영상이 각 각 사용자의 좌안 및 우안에 입력되고, 사용자의 뇌는 입력되는 좌, 우 영상을 통합하여 3차원 영상을 인지하게 된다.
이에 추가하여, 도 1에서와 같이 영상 처리 장치(100) 내에 보정 정보 처리부(160)가 하드웨어적으로 포함되는 대신, 디스크에 기록되어 있는 BD Java application을 이용하여 보정 정보 처리부(160)가 수행하는 기능들이 소프트웨어 적으로 구현될 수도 있다. 영상 처리 장치(100)가 BD Java application을 이용하는 경우, 최초로 영상이 재생되면 BD Java application은 로컬 스토리지(170)에 보정 정보가 존재하는지를 확인하고 이를 읽어오게 된다.
사용자가 보정 값을 입력하면, BD Java application은 사용자가 입력한 정보를 뎁쓰 맵 생성부(140) 또는 3차원 영상 생성부(150)로 전달한다. 또한 BD Java application은 보정 정보를 생성하고 이를 로컬 스토리지(170)에 저장할 수도 있다.
도 2는 본 발명의 일 실시 예에 따라, 위치 보정 값을 이용하여 좌, 우 영상에서 소정 픽셀이 매핑되는 위치를 조절하는 방법을 설명하기 위한 도면이다. 도 2의 (a)에는 2차원 영상에 제1 픽셀과 제2 픽셀의 원래 위치가 표시되어 있다. 3차 원 영상 생성부(150)는 뎁쓰 맵 생성부(140)에서 받은 뎁쓰 맵을 이용하여 2차원 영상의 픽셀들을 소정 거리만큼 이동시켜 좌, 우 영상을 생성한다.
도 2의 (b)는 3차원 영상 생성부(150)에 의해 생성된 좌, 우 영상을 도시한 도면이다. 3차원 영상 생성부(150)는 2차원 영상의 제1 픽셀이 각각 좌, 우 10픽셀씩 수평 방향으로 이동된 위치에 매핑되도록하고, 2차원 영상의 제2 픽셀이 각각 좌, 우 2 픽셀씩 수평 방향으로 이동된 위치에 매핑되도록 좌안 영상과 우안 영상을 생성한다. 3차원 영상 생성부(150)가 보정 정보 처리부(160)로부터 위치 보정 값을 받는 경우, 3차원 영상 생성부(150)는 위치 보정 값을 이용하여 좌, 우 영상에서 소정 픽셀이 매핑되는 위치를 조절한다.
도 2의 (c)는 사용자로부터 받은 위치 이동 값을 이용하여 3차원 영상 생성부(150)에 의해 위치 이동값이 보정된 좌, 우 영상을 도시한 도면이다. 보정 정보 처리부(160)에 의해 사용자로부터 50% 만큼 이동 거리가 감소되도록 할 것을 명령하는 위치 보정 값을 입력받은 경우, 3차원 영상 생성부(150)는 제1 픽셀이 2차원 영사에서의 원래 제1 픽셀의 위치보다 좌, 우로 10픽셀이 아닌 5 픽셀만큼 떨어진 거리에 제1 픽셀이 매핑되도록 위치 이동 값을 조절하고, 제2 픽셀이 원래 2차원 영상에서의 제2 픽셀의 위치보다 좌, 우로 2 픽셀이 아닌 1픽셀만큼 떨어진 거리에 제2 픽셀이 매핑되도록 위치 이동값을 조절한다. 이 경우, 제1 픽셀과 제2 픽셀에 대한 깊이감은 원래보다 반으로 감소하게 된다. 따라서, 사용자는 3차원 영상을 시청할 때 영상의 픽셀들별 깊이감에 따른 어지러움이나 불편함 등을 조절할 수 있다.
보정 정보 처리부(160)는 위치 보정 값 또는 위치 보정 값을 이용하여 보정된 위치 값 중 하나를 포함하는 보정 정보를 생성하고 이를 로컬 스터리지(170)에 저장시킨다. 도 2에서, 보정 정보 처리부(160)는 위치 이동 값이 50%만큼 감소할 것을 지시하는 위치 보정 값을 저장하거나, 또는 위치 이동 값에 의해 각각 제1 픽셀과 제2 픽셀이 원래 위치보다 +5/-5픽셀, +1/-1픽셀만큼 이동되었음을 표시하는 보정된 위치 값을 저장할 수 있다.
이와 같이, 본 발명의 일 실시 예에 의하면, 보정 정보를 생성하고 이를 저장함으로써 향후 2차원 영상을 다시 재생할 때 사용자가 다시 보정 값을 입력하지 않아도 기 저장된 보정 정보를 이용하여 2차원 영상으로부터 생성된 좌, 우 영상에서 픽셀의 좌, 우측 이동 값이 조절되도록 할 수 있다.
도 3은 본 발명의 일 실시 예에 따라 생성되는 보정 정보를 도시한 도면이다.
도 3 (a)를 참조하면, 보정 정보는 보정 정보가 적용될 2차원 영상을 식별하기 위한 영상 식별 정보를 포함한다. 영상 식별 정보는 프레임의 번호, 영상이 재생되는 시각, 기타 영상을 식별할 수 있는 정보가 될 수 있다.
보정 정보는 식별된 영상에 대한 보정 값을 포함한다. 보정 값은 위치 보정 값 또는 뎁쓰 보정 값 중 하나가 될 수 있다. 보정 값은 뎁쓰에 대한 보정 값이거나 또는 위치에 대한 보정 값이 될 수 있다. 보정 정보에는 보정 값이 뎁쓰 보정 값인지, 뎁쓰 보정 값에 의해 보정된 뎁쓰 값인지, 또는 위치 보정 값인지, 위치 보정 값에 의해 보정된 위치 값인지를 나타내고, 또한 보정 값이 일정한 값으로 되 어 있는지 또는 퍼센트로 되어 있는지 등을 나타내기 위한 보정 값 식별 정보가 더 포함될 수 있다.
보정 정보는 2차원 영상이 포함된 타이틀을 식별하기 위한 타이틀 식별 정보, 타이틀이 기록된 디스크를 식별하기 위한 디스크 식별 정보를 더 포함할 수 있다.
보정 정보는 사용자별로 저장될 수도 있다. 이 경우 보정 정보에는 현 보정 정보가 어떤 사용자에 대한 것인지를 식별하기 위한 사용자 식별 정보가 더 포함될 수 있다.
도 3의 (b)와 (c)는 사용자의 지시에 따라 보정 정보가 생성되는 것을 도시한 도면이다. 일련의 영상 시퀀스(sequence)가 재생될 때 사용자는 유저 인터페이스(130)를 이용하여 뎁쓰 보정 값이나 위치 보정 값을 입력한다. 도 3의 (b)에서 소정의 프레임이 재생될 때 사용자가 보정 값을 입력하는 경우, 보정 정보 처리부(160)는 프레임 번호 또는 소정 프레임이 재생되는 시각, 또는 소정 프레임을 식별하기 위한 기타 정보를 영상 식별 정보로 저장할 수 있다.
도 3의 (c)는 보정 정보 처리부(160)에 의해 생성된 보정 정보를 도시한 것으로, 영상 식별 정보로 "프레임"이 사용되었고, 보정 값이 "퍼센트"로 주어지고, 보정 값의 유형이 뎁쓰 보정 값임을 알 수 있다.
1번째 프레임이 재생될 때, 사용자가 위치 보정 값 60%를 입력할 경우, 보정 정보 처리부(160)는 프레임 번호 1과 위치 보정 값 60%를 포함하는 보정 정보를 생성한다. 100번째 프레임이 재생될 때 사용자가 위치 보정 값을 90%로 입력하면, 보 정 정보 처리부(160)는 프레임 번호 100과 위치 보정 값 90%를 보정 정보에 포함시킨다. 1001번째 프레임이 재생될 때, 사용자가 위치 보정 값을 80%로 입력하면, 보정 정보 처리부(160)는 프레임 번호 1001과 위치 보정 값 80%을 보정 정보에 포함시킨다.
보정 정보 처리부(160)는 사용자가 보정 값을 입력하는 순간 보정 정보를 생성하고 이를 로컬 스토리지(170)에 저장시킨다.
도 4는 로컬 스토리지(170)에 보정 정보가 저장되어 있는 경우, 로컬 스토리지(170)의 디렉토리 구조의 일 실시 예를 나타낸 도면이다. 도 4를 참조하면, 보정 정보가 저장되는 영역의 최상위에 ROOT가 존재할 수 있고, 그 밑으로 디스크 식별 정보 별로, 타이틀 식별 정보 별로 서로 다른 디렉토리가 생성될 수 있다. 또한, 보정 정보가 사용자별로 생성되어 있는 경우, 사용자 식별 정보를 이용한 서브 디렉토리를 생성하여 보정 정보 데이터 파일을 사용자별로 저장할 수 있다.
도 4와 같이 디렉토리별로 보정 정보를 저장할 수도 있으나, 이와 같은 디렉토리 구조가 아닌, 서로 구별할 수 있는 파일 명을 갖고 있으며, 디스크와 타이틀과의 연계성을 가질 수 있는 파일명을 갖도록 보정 정보가 로컬 스토리지(170)에 저장될 수도 있다.
보정 정보 처리부(160)는 사용자가 보정 값을 입력하는 순간 보정 정보를 생성하고 이를 로컬 스토리지(170)에 저장한다. 추후, 보정 정보 처리부(160)는 사용자가 보정 정보를 이용하고자 할 경우, 사용자가 원하는 보정 정보를 검색하고 이를 추출하여 뎁쓰 맵 생성부(140) 또는 3차원 영상 생성부(150)로 보낸다. 사용자 가 로컬 스토리지(170)에 기 저장되어 있는 보정 정보를 다시 보정하고자 하면, 보정 정보 처리부(160)는 사용자의 지시에 따라 보정 정보를 재 보정하고 이를 로컬 스토리지(170)에 다시 저장한다.
도 5는 본 발명의 일 실시 예에 따른 영상 처리 방법을 도시한 순서도이다. 도 5를 참조하면, 영상 처리 장치(100)가 2차원 영상을 3차원 영상으로 재생하고자 할 경우, 보정 정보 처리부(160)는 로컬 스토리지(170)에 현재 재생하려는 영상에 대한 보정 정보가 저장되어 있는지를 판단한다. 보정 정보 처리부(160)는 보정 정보에 포함된 2차원 영상을 식별하기 위한 영상 식별 정보를 이용하여 식별된 2차원 영상에 대한 보정 정보가 로컬 스토리지(170)에 포함되어 있는지를 판단할 수 있다.
보정 정보에는 2차원 영상이 포함된 타이틀을 식별하기 위한 타이틀 식별 정보, 타이틀이 기록된 디스크를 식별하기 위한 디스크 식별 정보 및 보정 정보가 사용자별로 저장되어 있는 경우, 보정 정보가 어떤 사용자에 대한 것인지를 식별하기 위한 사용자 식별 정보 중 하나 이상이 더 포함되어 있을 수 있다.
로컬 스토리지(170)에 사용자가 재생하려는 영상에 대한 보정 정보가 저장되어 있는 경우, 보정 정보 처리부(160)는 보정 정보를 추출하고, 뎁쓰 보정 값이 포함되어 있는지 또는 뎁쓰 보정 값을 이용하여 보정된 뎁쓰 값이 포함되어 있는지를 나타내기 위한 식별 정보를 이용하여 추출된 보정 정보에 뎁쓰 보정 값이 포함되어 있는지를 판단한다(단계 510, 520).
보정 정보 처리부(160)는 보정 정보에 뎁쓰 보정 값이 포함되어 있는 경우, 뎁쓰 보정 값을 뎁쓰 맵 생성부(140)로 전달한다.
뎁쓰 맵 생성부(140)는 뎁쓰 보정 값을 이용하여 2차원 영상의 픽셀에 적용할 뎁쓰 값을 보정하고, 보정된 뎁쓰 값을 갖는 뎁쓰 맵을 3차원 영상 생성부(150)로 보낸다(단계 530). 뎁쓰 맵 생성부(140)는 뎁쓰 값을 보정하기 위해 2차원 영상의 모든 픽셀들의 뎁쓰 값을 동일한 퍼센트만큼 증가시키거나 감소시킬 수 있다. 또는 2차원 영상의 픽셀에 적용할 뎁쓰 값의 범위를 원래의 뎁쓰 값의 범위와 다르게 조절할 수도 있다. 예컨대 2차원 영상의 픽셀들에 적용할 수 있는 뎁쓰 값이 N 부터 M(N<M, N, M은 정수) 내인 경우, 뎁쓰 맵 생성부(140)는 2차원 영상의 픽셀들이 N보다 크고 M보다 작은 소정 범위 내에서의 뎁쓰 값만을 갖도록 픽셀의 뎁쓰 값 범위를 조절할 수 있다.
3차원 영상 생성부(150)는 보정된 뎁쓰 값을 이용하여 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 구한다(단계 540).
보정 정보 처리부(160)는 보정 정보에 뎁쓰 보정 값이 포함되어 있지 않은 경우, 보정된 뎁쓰 값이 포함되어 있는지를 판단한다(단계 550).
보정 정보 처리부(160)는 보정 정보에 보정된 뎁쓰 값이 포함되어 있는 경우, 보정된 뎁쓰 값을 이용하여 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 구한다(단계 560).
보정 정보 처리부(160)는 구한 위치에 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성한다(단계 570).
보정 정보에는 2차원 영상에 포함되어 있는 복수의 오브젝트들 및 배경 각 각에 대한 보정 값이 포함될 수도 있다. 이 경우, 뎁쓰 맵 생성부(140)는 영상의 배경과 오브젝트에 대해 별도로 뎁쓰 값을 보정하고, 보정된 뎁쓰 값들을 갖는 뎁쓰 맵을 3차원 영상 생성부(150)로 보낸다.
이와 같이, 본 발명의 일 실시 예에 의하면, 사용자가 보정 정보를 입력한 후에는 동일한 영상을 보정된 깊이감을 갖는 영상으로 시청할 수 있게 된다. 따라서, 사용자가 영상을 시청할 때마다 보정 정보를 다시 입력해야하는 번거로움이 사라지게 된다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치의 내부 블록도를 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따라, 위치 보정 값을 이용하여 좌, 우 영상에서 소정 픽셀이 매핑되는 위치를 조절하는 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따라 생성되는 보정 정보를 도시한 도면이다.
도 4는 로컬 스토리지에 보정 정보가 저장되어 있는 경우, 로컬 스토리지의 디렉토리 구조의 일 실시 예를 나타낸 도면이다.
도 5는 본 발명의 일 실시 예에 따른 영상 처리 방법을 도시한 순서도이다.

Claims (40)

  1. 사용자 식별 정보를 이용하여 영상처리 장치의 스토리지로부터 사용자에 대응하는 보정 정보를 추출하는 단계로서, 상기 보정 정보는 뎁쓰 보정 값 및 상기 뎁쓰 보정 값을 이용하여 보정된 뎁쓰 값 중 하나를 포함하고 상기 보정 정보는 각 사용자마다 다르게 제공되는, 보정 정보를 추출하는 단계;
    상기 보정 정보에 상기 뎁쓰 보정 값이 포함되어 있는 경우, 상기 뎁쓰 보정 값을 이용하여 2차원 영상의 픽셀에 적용할 뎁쓰 값을 보정하고 상기 보정된 뎁쓰 값을 이용하여 상기 2차원 영상에 대한 뎁쓰 맵을 생성하고, 상기 보정 정보에 상기 보정된 뎁쓰 값이 포함되어 있는 경우, 상기 보정된 뎁쓰 값을 이용하여 상기 2차원 영상에 대한 뎁쓰 맵을 생성하는 단계;
    상기 뎁쓰 맵을 이용하여 상기 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 구하는 단계; 및
    상기 구한 위치에 상기 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  2. 제1 항에 있어서, 상기 보정 정보는 상기 2차원 영상을 식별하기 위한 영상 식별 정보를 포함하는 것을 특징으로 하는 영상 처리 방법.
  3. 제1 항에 있어서, 상기 보정 정보는 상기 보정 정보에 상기 뎁쓰 보정 값이 포함되어 있는지 또는 상기 뎁쓰 보정 값을 이용하여 보정된 뎁쓰 값이 포함되어 있는지를 식별하기 위한 보정 정보 유형 정보를 포함하는 것을 특징으로 하는 영상 처리 방법.
  4. 제2 항에 있어서, 상기 보정 정보는 상기 2차원 영상이 포함된 타이틀을 식별하기 위한 타이틀 식별 정보, 상기 타이틀이 기록된 디스크를 식별하기 위한 디스크 식별 정보 및 상기 보정 정보가 사용자별로 저장되어 있는 경우, 상기 보정 정보가 어떤 사용자에 대한 것인지를 식별하기 위한 사용자 식별 정보 중 하나 이상을 포함하는 것을 특징으로 하는 영상 처리 방법.
  5. 제2 항에 있어서, 상기 보정 정보는 상기 2차원 영상에 포함되어 있는 복수의 오브젝트들 및 배경 각 각에 대해, 뎁쓰 보정 값 및 상기 뎁쓰 보정 값을 이용하여 보정된 뎁쓰 값 중 하나를 포함하는 것을 특징으로 하는 영상 처리 방법.
  6. 제4 항에 있어서, 상기 뎁쓰 보정 값을 이용하여 2차원 영상의 픽셀에 적용할 뎁쓰 값을 보정하는 단계는
    상기 2차원 영상의 모든 픽셀의 뎁쓰 값을 동일한 비율만큼 증가시키거나 감소시키는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  7. 제4 항에 있어서, 상기 2차원 영상의 픽셀에 적용할 뎁쓰 값은 N 부터 M(N<M, N, M은 정수)의 뎁쓰 값 범위 내이고,
    상기 뎁쓰 보정 값을 이용하여 2차원 영상의 픽셀에 적용할 뎁쓰 값을 보정 하는 단계는 상기 N이 상기 N보다 큰 값이 되도록 조절하고 상기 M이 상기 M보다 작은 값이 되도록 조절하는 것 중 하나 이상을 수행하여 상기 2차원 영상의 픽셀들이 조절된 범위의 뎁쓰 값 중 하나의 값을 뎁쓰 값으로 갖도록 하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  8. 사용자 식별 정보를 이용하여 영상처리 장치의 스토리지로부터 사용자에 대응하는 보정 정보를 추출하는 단계로서, 상기 보정 정보는 위치 보정 값 및 상기 위치 보정 값을 이용하여 보정된 뎁쓰 값 중 하나를 포함하고 상기 보정 정보는 각 사용자마다 다르게 제공되는, 보정 정보를 추출하는 단계;
    상기 보정 정보에 상기 위치 보정 값이 포함되어 있는 경우, 2차원 영상에 대한 뎁쓰 맵을 이용하여 구해진 상기 2차원 영상의 각 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 상기 위치 보정 값을 이용하여 보정하고 상기 보정된 위치에 상기 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하고,
    상기 보정 정보에 상기 보정된 위치 값이 포함되어 있는 경우, 상기 보정된 위치 값을 이용하여 구해진 상기 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치에 상기 픽셀을 매핑시켜 좌안 영상 및 우안 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  9. 제8 항에 있어서, 상기 보정 정보는 상기 2차원 영상을 식별하기 위한 영상 식별 정보를 포함하는 것을 특징으로 하는 영상 처리 방법.
  10. 제8 항에 있어서, 상기 보정 정보는 상기 보정 정보에 상기 위치 보정 값이 포함되어 있는지 또는 상기 위치 보정 값을 이용하여 보정된 뎁쓰 값이 포함되어 있는지를 나타내기 위한 식별 정보를 포함하는 것을 특징으로 하는 영상 처리 방법.
  11. 제10 항에 있어서, 상기 보정 정보는 상기 2차원 영상이 포함된 타이틀을 식별하기 위한 타이틀 식별 정보, 상기 타이틀이 기록된 디스크를 식별하기 위한 디스크 식별 정보, 및 상기 보정 정보가 사용자별로 저장되어 있는 경우 상기 보정 정보가 어떤 사용자에 대한 것인지를 식별하기 위한 사용자 식별 정보 중 하나 이상을 포함하는 것을 특징으로 하는 영상 처리 방법.
  12. 제10 항에 있어서, 상기 보정 정보는 상기 2차원 영상에 포함되어 있는 복수의 오브젝트들 및 배경 각 각에 대해, 위치 보정 값 및 상기 위치 보정 값을 이용하여 보정된 뎁쓰 값 중 하나를 포함하는 것을 특징으로 하는 영상 처리 방법.
  13. 제12 항에 있어서, 상기 위치 보정 값을 이용하여 상기 매핑될 위치를 보정하는 단계는 상기 2차원 영상의 모든 픽셀들 각각이 매핑될 위치 값을 동일한 비율만큼 증가시키거나 감소시키는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  14. 제12 항에 있어서, 상기 2차원 영상의 픽셀이 매핑될 위치 값은 N 부터 M(N<M, N, M은 정수)의 범위 내이고,
    상기 위치 보정 값을 이용하여 상기 매핑될 위치를 보정하는 단계는 상기 N이 상기 N보다 큰 값이 되도록 조절하고 상기 M이 상기 M보다 작은 값이 되도록 조절하는 것 중 하나 이상을 수행하여 상기 2차원 영상의 픽셀들 각각이 매핑될 위치 값이 조절된 범위의 위치 값 중 하나의 값을 갖도록 조절하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  15. 사용자로부터 수신한 뎁쓰 보정 값을 이용하여 2차원 영상의 픽셀에 적용할 뎁쓰 값을 보정하는 단계; 및
    상기 보정된 뎁쓰 값을 이용하여 생성된 상기 2차원 영상에 대한 뎁쓰 맵을 이용하여 상기 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 구하는 단계;
    상기 구한 위치에 상기 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하는 단계; 및
    상기 뎁쓰 보정 값 및 상기 보정된 뎁쓰 값 중 하나 이상을 포함하는 보정 정보를 생성하고, 상기 보정 정보를 저장하는 단계를 포함하며,
    상기 보정정보는 각 사용자마다 다르게 제공되며,
    상기 보정 정보는 사용자 식별 정보를 이용하여 추출되는 것을 특징으로 하는 영상 처리 방법.
  16. 제15 항에 있어서, 상기 보정 정보는 상기 2차원 영상을 식별하기 위한 영상 식별 정보, 상기 2차원 영상이 포함된 타이틀을 식별하기 위한 타이틀 식별 정보, 상기 타이틀이 기록된 디스크를 식별하기 위한 디스크 식별 정보 및 상기 보정 정보가 사용자별로 저장되어 있는 경우, 상기 보정 정보가 어떤 사용자에 대한 것인지를 식별하기 위한 상기 사용자 식별 정보 중 하나 이상을 포함하는 것을 특징으로 하는 영상 처리 방법.
  17. 2차원 영상의 픽셀에 적용할 뎁쓰 값을 이용하여 상기 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 구하는 단계;
    사용자로부터 수신한 위치 보정 값에 따라, 상기 위치를 조절하는 단계;
    상기 조절된 위치에 상기 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하는 단계; 및
    상기 위치 보정 값 및 상기 조절된 위치 중 하나 이상을 포함하는 보정 정보를 생성하고, 상기 보정 정보를 저장하는 단계를 포함하며,
    상기 보정정보는 각 사용자마다 다르게 제공되며,
    상기 보정 정보는 사용자 식별 정보를 이용하여 추출되는 것을 특징으로 하는 영상 처리 방법.
  18. 제17 항에 있어서, 상기 보정 정보는 상기 2차원 영상을 식별하기 위한 영상 식별 정보, 상기 2차원 영상이 포함된 타이틀을 식별하기 위한 타이틀 식별 정보, 상기 타이틀이 기록된 디스크를 식별하기 위한 디스크 식별 정보 및 상기 보정 정보가 사용자별로 저장되어 있는 경우, 상기 보정 정보가 어떤 사용자에 대한 것인지를 식별하기 위한 상기 사용자 식별 정보 중 하나 이상을 포함하는 것을 특징으로 하는 영상 처리 방법.
  19. 사용자 식별 정보를 이용하여 영상처리 장치의 스토리지로부터 사용자에 대응하는 보정 정보를 추출하는 보정 정보 처리부로서, 상기 보정 정보는 뎁쓰 보정값 및 상기 뎁쓰 보정 값을 이용하여 보정된 뎁쓰 값중 하나를 포함하고, 상기 보정 정보는 각 사용자마다 다르게 제공되는, 보정 정보 처리부;
    상기 보정 정보에 상기 뎁쓰 보정 값이 포함되어 있는 경우, 상기 뎁쓰 보정 값을 이용하여 2차원 영상의 픽셀에 적용할 뎁쓰 값을 보정하고 상기 보정된 뎁쓰 값을 이용하여 상기 2차원 영상에 대한 뎁쓰 맵을 생성하고, 상기 보정 정보에 상기 보정된 뎁쓰 값이 포함되어 있는 경우, 상기 보정된 뎁쓰 값을 이용하여 상기 2차원 영상에 대한 뎁쓰 맵을 생성하는 뎁쓰 맵 생성부;
    상기 뎁쓰 맵을 이용하여 상기 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 구하고, 상기 구한 위치에 상기 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하는 3차원 영상 생성부를 포함하는 것을 특징으로 하는 영상 처리 장치.
  20. 제19 항에 있어서, 상기 보정 정보는 상기 2차원 영상을 식별하기 위한 영상 식별 정보를 포함하는 것을 특징으로 하는 영상 처리 장치.
  21. 제19 항에 있어서, 상기 보정 정보는 상기 보정 정보에 상기 뎁쓰 보정 값이 포함되어 있는지 또는 상기 뎁쓰 보정 값을 이용하여 보정된 뎁쓰 값이 포함되어 있는지를 나타내기 위한 식별 정보를 포함하는 것을 특징으로 하는 영상 처리 장치.
  22. 제20 항에 있어서, 상기 보정 정보는 상기 2차원 영상이 포함된 타이틀을 식별하기 위한 타이틀 식별 정보, 상기 타이틀이 기록된 디스크를 식별하기 위한 디스크 식별 정보 및 상기 보정 정보가 사용자별로 저장되어 있는 경우, 상기 보정 정보가 어떤 사용자에 대한 것인지를 식별하기 위한 상기 사용자 식별 정보 중 하나 이상을 포함하는 것을 특징으로 하는 영상 처리 장치.
  23. 제20 항에 있어서, 상기 보정 정보는 상기 2차원 영상에 포함되어 있는 복수의 오브젝트들 및 배경 각 각에 대해, 뎁쓰 보정 값 및 상기 뎁쓰 보정 값을 이용하여 보정된 뎁쓰 값 중 하나를 포함하는 것을 특징으로 하는 영상 처리 장치.
  24. 제22 항에 있어서, 상기 보정 정보 처리부는 상기 뎁쓰 보정 값을 이용하여 상기 2차원 영상의 모든 픽셀의 뎁쓰 값을 동일한 비율만큼 증가시키거나 감소시켜 상기 뎁쓰 값을 보정하는 것을 특징으로 하는 영상 처리 장치.
  25. 제22 항에 있어서, 상기 2차원 영상의 픽셀에 적용할 뎁쓰 값은 N 부터 M(N<M, N, M은 정수)의 뎁쓰 값 범위 내이고,
    상기 보정 정보 처리부는 상기 뎁쓰 보정 값을 이용하여 상기 N이 상기 N보다 큰 값이 되도록 조절하고 상기 M이 상기 M보다 작은 값이 되도록 조절하는 것 중 하나 이상을 수행하여 상기 2차원 영상의 픽셀들이 조절된 범위의 뎁쓰 값 중 하나의 값을 뎁쓰 값으로 갖도록 조절하는 것을 특징으로 하는 영상 처리 장치.
  26. 사용자 식별 정보를 이용하여 영상처리 장치의 스토리지로부터 사용자에 대응하는 보정 정보를 추출하는 보정 정보 처리부로서, 상기 보정 정보는 위치 보정값 및 상기 위치 보정 값을 이용하여 보정된 뎁쓰 값중 하나를 포함하고, 상기 보정 정보는 각 사용자마다 다르게 제공되는, 보정 정보 처리부;
    상기 보정 정보에 상기 위치 보정 값이 포함되어 있는 경우, 2차원 영상에 대한 뎁쓰 맵을 이용하여 구해진 상기 2차원 영상의 각 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 상기 위치 보정 값을 이용하여 보정하고 상기 보정된 위치에 상기 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하고, 상기 보정 정보에 상기 보정된 위치 값이 포함되어 있는 경우, 상기 보정된 위치 값을 이용하여 구해진 상기 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치에 상기 픽셀을 매핑시켜 좌안 영상 및 우안 영상을 생성하는 3차원 영상 생성부를 포함하는 것을 특징으로 하는 영상 처리 장치.
  27. 제25 항에 있어서, 상기 보정 정보는 상기 2차원 영상을 식별하기 위한 영상 식별 정보를 포함하는 것을 특징으로 하는 영상 처리 장치.
  28. 제26 항에 있어서, 상기 보정 정보는 상기 보정 정보에 상기 위치 보정 값이 포함되어 있는지 또는 상기 위치 보정 값을 이용하여 보정된 뎁쓰 값이 포함되어 있는지를 나타내기 위한 식별 정보를 포함하는 것을 특징으로 하는 영상 처리 장치.
  29. 제28 항에 있어서, 상기 보정 정보는 상기 2차원 영상이 포함된 타이틀을 식별하기 위한 타이틀 식별 정보, 상기 타이틀이 기록된 디스크를 식별하기 위한 디스크 식별 정보, 및 상기 보정 정보가 사용자별로 저장되어 있는 경우 상기 보정 정보가 어떤 사용자에 대한 것인지를 식별하기 위한 상기 사용자 식별 정보 중 하나 이상을 포함하는 것을 특징으로 하는 영상 처리 장치.
  30. 제28 항에 있어서, 상기 보정 정보는 상기 2차원 영상에 포함되어 있는 복수의 오브젝트들 및 배경 각 각에 대해, 위치 보정 값 및 상기 위치 보정 값을 이용하여 보정된 뎁쓰 값 중 하나를 포함하는 것을 특징으로 하는 영상 처리 장치.
  31. 제30 항에 있어서, 상기 보정 정보 처리부는 상기 위치 보정 값을 이용하여 상기 2차원 영상의 모든 픽셀들 각각이 매핑될 위치 값을 동일한 비율만큼 증가시키거나 감소시켜 상기 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 조절하는 것을 특징으로 하는 영상 처리 장치.
  32. 제30 항에 있어서, 상기 2차원 영상의 픽셀이 매핑될 위치 값은 N 부터 M(N<M, N, M은 정수)의 범위 내이고,
    상기 보정 정보 처리부는 상기 위치 보정 값을 이용하여 상기 N이 상기 N보다 큰 값이 되도록 조절하고 상기 M이 상기 M보다 작은 값이 되도록 조절하는 것 중 하나 이상을 수행하여 상기 2차원 영상의 픽셀들 각각이 매핑될 위치 값이 조절된 범위의 위치 값 중 하나의 값을 갖도록 조절하는 것을 특징으로 하는 영상 처리 장치.
  33. 사용자로부터 뎁쓰 보정 값을 수신하는 유저 인터페이스;
    상기 뎁쓰 보정 값을 이용하여 2차원 영상의 픽셀에 적용할 뎁쓰 값을 보정하고, 상기 보정된 뎁쓰 값을 이용하여 상기 2차원 영상에 대한 뎁쓰 맵을 생성하는 뎁쓰 맵 생성부;
    상기 뎁쓰 맵을 이용하여 상기 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 구하고, 상기 구한 위치에 상기 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하는 3차원 영상 생성부; 및
    상기 뎁쓰 보정 값 및 상기 보정된 뎁쓰 값 중 하나 이상을 포함하는 보정 정보를 생성하고, 상기 보정 정보가 로컬 스토리지에 저장되도록 하는 보정 정보 처리부를 포함하며,
    상기 보정 정보는 사용자마다 다르게 제공되고,
    사용자 식별 정보를 이용하여 상기 로컬 스토리지로부터 사용자에 대응하는 보정 정보가 추출되는 것을 특징으로 하는 영상 처리 장치.
  34. 제33 항에 있어서, 상기 보정 정보는 상기 2차원 영상을 식별하기 위한 영상 식별 정보, 상기 2차원 영상이 포함된 타이틀을 식별하기 위한 타이틀 식별 정보, 상기 타이틀이 기록된 디스크를 식별하기 위한 디스크 식별 정보 및 상기 보정 정보가 사용자별로 저장되어 있는 경우, 상기 보정 정보가 어떤 사용자에 대한 것인지를 식별하기 위한 상기 사용자 식별 정보 중 하나 이상을 포함하는 것을 특징으로 하는 영상 처리 장치.
  35. 사용자로부터 위치 보정 값을 수신하는 유저 인터페이스;
    2차원 영상의 픽셀에 적용할 뎁쓰 값을 이용하여 구해진 상기 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 상기 위치 보정 값에 따라 조절하고, 상기 조절된 위치에 상기 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하는 3차원 영상 생성부; 및
    상기 위치 보정 값 및 상기 조절된 위치 중 하나 이상을 포함하는 보정 정보를 생성하고, 상기 보정 정보가 저장되도록 하는 보정 정보 처리부를 포함하며,
    상기 보정 정보는 사용자마다 다르게 제공되고,
    사용자 식별 정보를 이용하여 상기 로컬 스토리지로부터 사용자에 대응하는 보정 정보가 추출되는 것을 특징으로 하는 영상 처리 장치.
  36. 제35 항에 있어서, 상기 보정 정보는 상기 2차원 영상을 식별하기 위한 영상 식별 정보, 상기 2차원 영상이 포함된 타이틀을 식별하기 위한 타이틀 식별 정보, 상기 타이틀이 기록된 디스크를 식별하기 위한 디스크 식별 정보 및 상기 보정 정보가 사용자별로 저장되어 있는 경우, 상기 보정 정보가 어떤 사용자에 대한 것인지를 식별하기 위한 상기 사용자 식별 정보 중 하나 이상을 포함하는 것을 특징으로 하는 영상 처리 장치.
  37. 사용자 식별 정보를 이용하여 영상처리 장치의 스토리지로부터 사용자에 대응하는 보정 정보를 추출하는 단계로서, 상기 보정 정보는 뎁쓰 보정 값 및 상기 뎁쓰 보정 값을 이용하여 보정된 뎁쓰 값 중 하나를 포함하고 상기 보정 정보는 각 사용자마다 다르게 제공되는, 보정 정보를 추출하는 단계;
    상기 보정 정보에 상기 뎁쓰 보정 값이 포함되어 있는 경우, 상기 뎁쓰 보정 값을 이용하여 2차원 영상의 픽셀에 적용할 뎁쓰 값을 보정하고 상기 보정된 뎁쓰 값을 이용하여 상기 2차원 영상에 대한 뎁쓰 맵을 생성하고, 상기 보정 정보에 상기 보정된 뎁쓰 값이 포함되어 있는 경우, 상기 보정된 뎁쓰 값을 이용하여 상기 2차원 영상에 대한 뎁쓰 맵을 생성하는 단계;
    상기 뎁쓰 맵을 이용하여 상기 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 구하는 단계; 및
    상기 구한 위치에 상기 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 정보 저장 매체.
  38. 사용자 식별 정보를 이용하여 영상처리 장치의 스토리지로부터 사용자에 대응하는 보정 정보를 추출하는 단계로서, 상기 보정 정보는 위치 보정 값 및 상기 위치 보정 값을 이용하여 보정된 뎁쓰 값 중 하나를 포함하고 상기 보정 정보는 각 사용자마다 다르게 제공되는, 보정 정보를 추출하는 단계;
    상기 보정 정보에 상기 위치 보정 값이 포함되어 있는 경우, 2차원 영상에 대한 뎁쓰 맵을 이용하여 구해진 상기 2차원 영상의 각 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 상기 위치 보정 값을 이용하여 보정하고 상기 보정된 위치에 상기 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하고,
    상기 보정 정보에 상기 보정된 위치 값이 포함되어 있는 경우, 상기 보정된 위치 값을 이용하여 구해진 상기 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치에 상기 픽셀을 매핑시켜 좌안 영상 및 우안 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 정보 저장 매체.
  39. 사용자로부터 수신한 뎁쓰 보정 값을 이용하여 2차원 영상의 픽셀에 적용할 뎁쓰 값을 보정하는 단계; 및
    상기 보정된 뎁쓰 값을 이용하여 생성된 상기 2차원 영상에 대한 뎁쓰 맵을 이용하여 상기 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 구하는 단계;
    상기 구한 위치에 상기 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하는 단계; 및
    상기 뎁쓰 보정 값 및 상기 보정된 뎁쓰 값 중 하나 이상을 포함하는 보정 정보를 생성하고, 상기 보정 정보를 저장하는 단계를 포함하며,
    상기 보정 정보는 각 사용자마다 다르게 제공되며,
    사용자 식별정보를 이용하여 영상 처리장치의 스토리지로부터 사용자에 대응하는 보정 정보가 추출되는 것을 특징으로 하는 영상 처리 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 정보 저장 매체.
  40. 2차원 영상의 픽셀에 적용할 뎁쓰 값을 이용하여 상기 2차원 영상의 픽셀이 좌안 영상 및 우안 영상에 매핑될 위치를 구하는 단계;
    사용자로부터 수신한 위치 보정 값에 따라, 상기 위치를 조절하는 단계;
    상기 조절된 위치에 상기 픽셀이 매핑된 좌안 영상 및 우안 영상을 생성하는 단계; 및
    상기 위치 보정 값 및 상기 조절된 위치 중 하나 이상을 포함하는 보정 정보를 생성하고, 상기 보정 정보를 저장하는 단계를 포함하며,
    상기 보정 정보는 각 사용자마다 다르게 제공되며,
    사용자 식별정보를 이용하여 영상 처리장치의 스토리지로부터 사용자에 대응하는 보정 정보가 추출되는 것을 특징으로 하는 영상 처리 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 정보 저장 매체.
KR1020080134954A 2008-12-26 2008-12-26 영상 처리 방법 및 장치 KR101574068B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020080134954A KR101574068B1 (ko) 2008-12-26 2008-12-26 영상 처리 방법 및 장치
US12/563,310 US8705844B2 (en) 2008-12-26 2009-09-21 Image processing method and apparatus therefor
EP09835203.2A EP2371139B1 (en) 2008-12-26 2009-12-11 Image processing method and apparatus therefor
CN200980152915.1A CN102265624B (zh) 2008-12-26 2009-12-11 图像处理方法及其设备
PCT/KR2009/007387 WO2010074437A2 (en) 2008-12-26 2009-12-11 Image processing method and apparatus therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080134954A KR101574068B1 (ko) 2008-12-26 2008-12-26 영상 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100076785A KR20100076785A (ko) 2010-07-06
KR101574068B1 true KR101574068B1 (ko) 2015-12-03

Family

ID=42285085

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080134954A KR101574068B1 (ko) 2008-12-26 2008-12-26 영상 처리 방법 및 장치

Country Status (5)

Country Link
US (1) US8705844B2 (ko)
EP (1) EP2371139B1 (ko)
KR (1) KR101574068B1 (ko)
CN (1) CN102265624B (ko)
WO (1) WO2010074437A2 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
WO2010041176A1 (en) * 2008-10-10 2010-04-15 Koninklijke Philips Electronics N.V. A method of processing parallax information comprised in a signal
US9426441B2 (en) 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
JP2011239195A (ja) * 2010-05-11 2011-11-24 Sanyo Electric Co Ltd 電子機器
KR101763592B1 (ko) 2010-08-16 2017-08-01 엘지전자 주식회사 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 출력 방법 및 그 방법을 채용한 디스플레이 기기
US8767053B2 (en) * 2010-08-26 2014-07-01 Stmicroelectronics, Inc. Method and apparatus for viewing stereoscopic video material simultaneously with multiple participants
JP2012089931A (ja) * 2010-10-15 2012-05-10 Sony Corp 情報処理装置、情報処理方法およびプログラム
AU2011348121B2 (en) * 2010-12-22 2016-08-18 Legend 3D, Inc. System and method for minimal iteration workflow for image sequence depth enhancement
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
WO2012145191A1 (en) 2011-04-15 2012-10-26 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3d images independent of display size and viewing distance
KR20120119173A (ko) * 2011-04-20 2012-10-30 삼성전자주식회사 3ｄ 영상처리장치 및 그 입체감 조정방법
KR20120133640A (ko) * 2011-05-31 2012-12-11 삼성전자주식회사 3ｄ 영상변환장치 그 구현방법 및 그 저장매체
TWI586143B (zh) * 2012-04-05 2017-06-01 皇家飛利浦電子股份有限公司 用於提供用於傳送至三維[3d]目標裝置之3d視訊信號之3d源裝置、方法及記錄載體以及用於自3d源裝置接收3d視訊信號之3d目標裝置
WO2014013405A1 (en) * 2012-07-20 2014-01-23 Koninklijke Philips N.V. Metadata for depth filtering
US9547937B2 (en) 2012-11-30 2017-01-17 Legend3D, Inc. Three-dimensional annotation system and method
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9292906B1 (en) * 2013-09-06 2016-03-22 Google Inc. Two-dimensional image processing based on third dimension data
KR102271853B1 (ko) * 2014-03-21 2021-07-01 삼성전자주식회사 전자 장치, 영상 처리 방법, 및 컴퓨터 판독가능 기록매체
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
WO2017082079A1 (ja) * 2015-11-11 2017-05-18 ソニー株式会社 画像処理装置および画像処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004179702A (ja) * 2002-11-25 2004-06-24 Sanyo Electric Co Ltd 立体視用映像提供方法及び立体映像表示装置
US20040135780A1 (en) * 2002-08-30 2004-07-15 Nims Jerry C. Multi-dimensional images system for digital image input and output
US20060288081A1 (en) * 2005-05-26 2006-12-21 Samsung Electronics Co., Ltd. Information storage medium including application for obtaining metadata and apparatus and method of obtaining metadata
US20070024604A1 (en) * 2005-07-27 2007-02-01 Samsung Electronics Co., Ltd. Video processing apparatus and video processing method

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2576771B2 (ja) * 1993-09-28 1997-01-29 日本電気株式会社 動き補償予測装置
JP3745117B2 (ja) * 1998-05-08 2006-02-15 キヤノン株式会社 画像処理装置及び画像処理方法
JP4075418B2 (ja) * 2002-03-15 2008-04-16 ソニー株式会社 画像処理装置及び画像処理方法、印刷物製造装置及び印刷物製造方法、並びに印刷物製造システム
US20050259147A1 (en) * 2002-07-16 2005-11-24 Nam Jeho Apparatus and method for adapting 2d and 3d stereoscopic video signal
US20040151376A1 (en) * 2003-02-05 2004-08-05 Konica Minolta Holdings, Inc. Image processing method, image processing apparatus and image processing program
KR100728110B1 (ko) 2004-01-29 2007-06-13 삼성에스디아이 주식회사 입체감을 조절할 수 있는 입체영상 표시장치 및 그 방법
KR101014667B1 (ko) * 2004-05-27 2011-02-16 삼성전자주식회사 스케일러블 동영상 인코딩, 디코딩 장치 및 그 방법
KR100739764B1 (ko) 2005-11-28 2007-07-13 삼성전자주식회사 입체 영상 신호 처리 장치 및 방법
KR100808493B1 (ko) * 2005-12-28 2008-03-03 엠텍비젼 주식회사 렌즈 셰이딩 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서
KR101249988B1 (ko) * 2006-01-27 2013-04-01 삼성전자주식회사 사용자의 위치에 따른 영상을 디스플레이하는 장치 및 방법
KR101147083B1 (ko) * 2006-03-29 2012-05-18 엘지디스플레이 주식회사 화질제어 방법
KR101062202B1 (ko) * 2007-02-06 2011-09-05 삼성전자주식회사 화상처리장치, 화상처리방법 및 그 기록매체
KR101345303B1 (ko) * 2007-03-29 2013-12-27 삼성전자주식회사 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040135780A1 (en) * 2002-08-30 2004-07-15 Nims Jerry C. Multi-dimensional images system for digital image input and output
JP2004179702A (ja) * 2002-11-25 2004-06-24 Sanyo Electric Co Ltd 立体視用映像提供方法及び立体映像表示装置
US20060288081A1 (en) * 2005-05-26 2006-12-21 Samsung Electronics Co., Ltd. Information storage medium including application for obtaining metadata and apparatus and method of obtaining metadata
US20070024604A1 (en) * 2005-07-27 2007-02-01 Samsung Electronics Co., Ltd. Video processing apparatus and video processing method

Also Published As

Publication number Publication date
EP2371139A2 (en) 2011-10-05
CN102265624B (zh) 2015-06-03
US8705844B2 (en) 2014-04-22
US20100166338A1 (en) 2010-07-01
KR20100076785A (ko) 2010-07-06
WO2010074437A3 (en) 2010-09-10
WO2010074437A2 (en) 2010-07-01
CN102265624A (zh) 2011-11-30
EP2371139A4 (en) 2015-04-08
EP2371139B1 (en) 2018-05-02

Similar Documents

Publication Publication Date Title
KR101574068B1 (ko) 영상 처리 방법 및 장치
US10154243B2 (en) Method and apparatus for customizing 3-dimensional effects of stereo content
US8488869B2 (en) Image processing method and apparatus
KR101547151B1 (ko) 영상 처리 방법 및 장치
CN102177721B (zh) 处理信号中包括的视差信息的方法
CN102300109B (zh) 输出音频信号的显示装置和方法
US9013551B2 (en) Methods and systems for presenting three-dimensional motion pictures with content adaptive information
US8503765B2 (en) Method and apparatus for correcting errors in stereo images
US20090315981A1 (en) Image processing method and apparatus
JP2004208255A (ja) 立体画像表示装置、記録方法、及び伝送方法
US20090315980A1 (en) Image processing method and apparatus
EP2360932A1 (en) Method and apparatus for generating 3d image data
TW201010409A (en) Versatile 3-D picture format
WO2003081921A1 (fr) Procede de traitement d&#39;images tridimensionnelles et dispositif
JP6231125B2 (ja) マルチビュー立体視ディスプレイデバイスと共に使用するビデオデータ信号を符号化する方法
KR101844232B1 (ko) 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법 및 장치
KR20120004203A (ko) 디스플레이 방법 및 장치
US9516300B2 (en) Image processing apparatus, image processing method, and program
JP2012130008A (ja) 三次元映像表示装置およびその表示方法
KR101783608B1 (ko) 전자 장치 및 입체감 조정 방법
WO2013027305A1 (ja) 立体映像処理装置、及び立体映像処理方法
US20130127843A1 (en) Display apparatus and display method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20181030

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191030

Year of fee payment: 5