KR101899603B1 - 비디오신호를 디지털적으로 처리하기 위한 방법, 디지털 영상 처리장치, 및 비디오 표시 시스템 - Google Patents

비디오신호를 디지털적으로 처리하기 위한 방법, 디지털 영상 처리장치, 및 비디오 표시 시스템 Download PDF

Info

Publication number
KR101899603B1
KR101899603B1 KR1020127027210A KR20127027210A KR101899603B1 KR 101899603 B1 KR101899603 B1 KR 101899603B1 KR 1020127027210 A KR1020127027210 A KR 1020127027210A KR 20127027210 A KR20127027210 A KR 20127027210A KR 101899603 B1 KR101899603 B1 KR 101899603B1
Authority
KR
South Korea
Prior art keywords
video signal
video
display system
image
video display
Prior art date
Application number
KR1020127027210A
Other languages
English (en)
Other versions
KR20130004506A (ko
Inventor
베르트랑 네프뵈
Original Assignee
비알바나, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 비알바나, 인크. filed Critical 비알바나, 인크.
Publication of KR20130004506A publication Critical patent/KR20130004506A/ko
Application granted granted Critical
Publication of KR101899603B1 publication Critical patent/KR101899603B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Abstract

본 발명에서는 비디오신호를 디지털적으로 처리하기 위한 방법, 디지털 영상 처리장치, 및 비디오 표시 시스템을 개시한다. 비디오신호는 사용자 프로필에 따라 디지털적으로 처리되고, 또한, 비디오 표시 시스템의 장치 파라미터에 따라 디지털적으로 처리된다. 처리된 비디오신호는 비디오 표시 시스템에 표시된다. 일실시예에서, 비디오 표시 시스템에는 헤드셋이 포함된다. 이와 동일한 또는 다른 실시예에서는, 비디오신호에 좌측 성분과 우측 성분이 포함되며, 이들 각 성분은 입체영상 표시를 위한 것이며 각 성분에 대해서 별도로 디지털 처리된다.

Description

비디오신호를 디지털적으로 처리하기 위한 방법, 디지털 영상 처리장치, 및 비디오 표시 시스템 {METHOD, DIGITAL IMAGE PROCESSOR AND VIDEO DISPLAY SYSTEM FOR DIGITALLY PROCESSING A VIDEO SIGNAL}
본 발명은 전반적으로 비디오신호(video signal)를 영상(image)으로 변환하는 기술에 관한 것이다. 좀 더 구체적으로 말하자면, 본 발명은 비디오신호를 디지털 처리하기 위한 방법, 디지털 영상 처리장치, 및 비디오 표시 시스템에 관한 것이다.
많은 상황에서, 개인이 볼 수 있도록 유기 발광 다이오드(OLED: organic light emitting diode) 또는 액정 표시기(LCD: liquid crystal display) 화면에 정보를 표시하기 위하여 전자적 신호 처리수단과 함께 표시 시스템이 사용되고 있다. 이러한 시스템은, 예컨대, 게임, 영상 검사(vision evaluation), 심리 테스트, 교육 등에 사용되는 입체영상 헤드셋(stereoscopic headset)과 같은 헤드마운트 장치(HMD: head mounted device) 내에 통합될 수 있다. 일반적으로, 표시할 영상은 게임 소프트웨어와 같은 적절한 소프트웨어를 사용하여 컴퓨터에 의해 생성되고, 전자적 신호로 변환되어 유선 또는 무선 통신 링크를 통해 표시 장치로 전송된다. 이 전자적 신호는 지속적으로 표시장치에서 해독(디코드)되어 표시장치에 있는 단일 또는 복수의 화면에 영상으로서 표시된다.
HMD에 표시장치 화면을 통합하여 사용자가 영상을 볼 수 있도록 하기 위해, 광학적 구성요소를 사용하여 사용자의 특정 시선 방향에 따라 사용자의 눈에 이미지를 결상하도록 한다. 또한, 가능한 한 현실적인 시감을 느낄 수 있도록 하기 위해서는, 시야가 넓어서 몰입도를 더 크게 하는 것이 바람직하다. 그러나 HMD가 컴팩트할수록 광학적 구성요소에 요구되는 영상 선명도 및 현실적인 시각감이 더 많이 요구된다. 또한 작은 렌즈로 인한 경계 효과(border effect)(예컨대, 소위 어안(fish eye) 효과) 및 광학적 구성요소에 의한 그 밖의 효과로 인해 이상(aberration)(예컨대, 광도 손실, 대비(contrast), 색상 변형 등)이 발생할 수 있다. 이는, 게임용 헤드셋과 같은 상업용 제품의 목표 생산비를 맞추기 위해 플라스틱이나 낮은 등급의 광학적 구성요소를 사용할 경우에 특히 그러하다. 입체영상 장치에서는 또한, 한 화면에서 재생되는 영상과 다른 제2의 화면에서 재생되는 영상 사이에 예기치 않은 영상 불일치가 발생할 수 있다.
사용자의 관점에 따른 영상의 지각인식도 역시 고려할 수 있다. 좌측 눈이 보는 화면과 우측 눈이 보는 화면에서 재생되는 영상의 화질 및 동일성에 관계없이 양쪽 영상은 다르게 인식될 수 있는데, 이는 투사된 영상에서 발생하는 것이 아니라 사용자의 개인별 시각 특성에 따라 일어나는 문제이다. 이러한 차이는 또한, 양쪽 눈 사이에서도 서로 다르게 일어날 수 있으며, 이는, 예컨대, 난시, 일정 등급의 색맹, 사시 등에 의해서 일어날 수 있다. 이러한 현상은 시각감에 영향을 미칠 수 있으며, 특히 입체영상 프로그램의 사실성에는 더 큰 영향을 미칠 수 있다.
따라서 본 발명은 비디오신호의 디지털 처리를 수행하기 위한 방법, 디지털 영상 처리장치, 및 비디오 표시 시스템을 제공한다.
본 발명의 일 특징에 따르면 비디오신호(video signal)를 표시하는 방법이 제공된다. 이 방법에 있어서, 비디오신호는 사용자 프로필(user profile)에 따라 디지털적으로 처리되고, 또한, 비디오 표시 시스템(video display system)의 장치 파라미터(device parameter)에 따라 디지털적으로 처리된다. 처리된 비디오신호는 비디오 표시 시스템에 표시된다.
본 발명의 다른 특징에 따르면 디지털 영상 처리장치(digital image processor)가 제공된다. 이 디지털 영상 처리장치는, 사용자 프로필에 따라 그리고 비디오 표시 시스템의 장치 파라미터에 따라 비디오신호를 디지털적으로 처리하는 보정를 포함한다. 이 디지털 영상 처리장치는 또한, 상기 처리한 비디오신호를 상기 비디오 표시 시스템으로 전송하는 출력부를 포함한다.
본 발명의 또다른 특징에 따르면 미디어 입력 인터페이스(media input interface), 디지털 영상 처리장치(digital image processor), 및 표시장치(display)를 포함하는 비디오 표시 시스템(video display system)이 제공된다. 여기서 상기 미디어 입력 인터페이스는 비디오신호를 수신하며, 상기 디지털 영상 처리장치는 사용자 프로필에 따라 그리고 상기 비디오 표시 시스템의 장치 파라미터에 따라 상기 비디오신호의 영상을 편집한다. 디지털 영상 처리장치에서 처리된 영상이 상기 표시장치에 표시된다.
이상의 특징 및 그 밖의 특징들은, 이하에서 부속 도면(예시적인 것임)을 참조하여 설명한 예시적 실시예(제한적인 것이 아님)를 읽고 난 후, 보다 더 명확해질 것이다.
본 발명의 비디오 표시 시스템에서는 영상을 헤드마운트 장치(HMD) 수준에서 사후 처리할 수 있고, 사용자 눈 및 시스템의 이상을 장치 자체에서 교정할 수 있다. 비디오 쏘스로부터 수신한 영상 신호를 의도적으로 편집하는 것이 가능해, 게임, 영상 검사, 심리 검사 등의 다양한 분야에서 향상된 영상을 표시할 수 있다. 특히 고화질 비디오신호의 경우에 필요한 높은 처리 속도, HMD 내의 제한된 물리적 공간, 및 사용자 파라미터에 관한 정보의 수집에 관련된 문제를 본 발명을 통하여 극복할 수 있으며, 본 발명의 HMD를 지속적으로 업그레이드하는 것이 가능하다.
도 1은 비디오신호를 표시하는 예시적 방법의 단계 순서도이다.
도 2는 디지털 영상 처리장치의 예시도이다.
도 3은 본 발명의 일측면에 따른 영상 행렬 및 이에 대응된 변환 행렬을 보여준다.
도 4는 비디오신호를 디지털적으로 처리하는 단계를 보여주는 순서도의 예시도이다.
도 5는 비디오 표시 시스템의 예시 블록도이다.
도 6은 본 발명의 일실시예에 따른 비디오 헤드셋 시스템의 블록도이다.
본 발명은 전반적으로, 영상을 보는 사람(viewer)의 사용자 프로필 및 비디오 표시 시스템의 장치 파라미터를 고려하여 비디오 영상을 표시하는 경우의 문제점을 해결하기 위한 것이다. 다음 용어들을 본 명세서에서 사용하였다.
비디오신호(video signal): 영상프레임(image frame)을 반송(carry)하는 아날로그 또는 디지털 신호.
비디오신호 쏘스(source of video signal): 실제 영상 표현, 기록된 영상, 또는 합성 영상 등의 일련의 영상 프레임을 출력할 수 있는 모든 장치.
쏘스 파라미터(source parameter): 비디오신호 쏘스의 특성을 나타내는 매개변수(parameter).
평면영상(monoscopic): 하나의 영상열(image flow)을 사용하여 2차원(2D)의 평면 영상을 표시하는 방식.
입체영상(stereoscopic): 두 개의 연관된 영상열을 사용하여 3차원(3D)의 입체 영상을 표시하는 방식.
비디오 디코딩(video decoding): 비디오 프로토콜을 영상프레임 시퀀스(image frame sequence)로 아날로그 또는 디지털 변환하는 것.
디지털 처리(digital processing): 디지털 비디오신호 또는 프레임을 디지털 처리기를 사용하여 처리하는 것.
사용자 프로필(user profile): 비디오신호를 보는 사람(viewer)의 하나 이상의 선호도(preference) 또는 특성(characteristic)으로서, 눈의 이상(aberration)이나 영상 처리시의 의도된 변형에 관련된다. 사용자 프로필에는, 좌측 눈과 우측 눈에 관련된 서로 다른 파라미터, 또는 좌측 눈과 우측 눈으로 보기 위한 영상 처리시의 의도된 변형에 관련된 서로 다른 파라미터가 포함될 수 있다.
비디오 표시 시스템(video display system): 비디오신호를 표시하기 위한, 하나 이상의 표시장치 화면 및 이에 관련된 광학적 구성요소. 여기에는 그 밖의 관련 구성요소들도 포함된다.
장치 파라미터(device parameter): 비디오 표시 시스템의 하나 이상의 특성.
보정(compensation): 사용자 프로필에 따라 또는 장치 파라미터에 따라 비디오신호를 디지털 처리하는 것.
이상(aberration): 영상을 보는 사람의 한쪽 또는 양쪽 눈의 시각 장애 또는 기능장애, 또는 비디오 표시 시스템의 결함. 이 결함은 영상 왜곡, 색바램, 선명도 손실, 광도(밝기) 손실, 그 밖의 화질 저하의 원인이 된다.
RGB: 적색, 녹색, 청색의 비디오신호 색상 모델. RGB는 또한 비디오신호의 각 색상 성분을 나타내기 위해서도 사용함.
사전 설정되다(pre-configured): 시스템에 영구적으로 또는 반영구적으로 상주하는(resident) 파라미터에 관련하여 사용한 용어임.
영상 행렬(image matrix): 영상을 일련의 행과 열로 표현한 것.
영상 블록(image block): 영상 행렬에서의 행과 열의 교차부.
변환 행렬(conversion matrix): 일련의 행과 열로 이루어진 영상 변환 인수(image conversion factor).
변환 블록(conversion block): 변환 행렬에서의 행과 열의 교차부.
픽셀 단위(pixel-wise): 픽셀 대 픽셀(pixel by pixel) 처리에 있어서, 영상 행렬의 블록 크기와 변환 행렬의 블록 크기가 1 픽셀인 것.
메모리(memory): 차후의 검색을 위해 디지털 정보를 저장할 수 있는 소자 또는 구성요소.
미디어(media): 통신 채널.
편집(editing): 디지털 처리에 의한 영상 변환.
헤드셋(headset): 사용자가 착용할 수 있는 비디오신호 표시 장치.
고정장치(base station): 헤드셋과 별도로 떨어져 있는 비디오 표시 시스템의 한 구성요소.
본 발명의 일측면에 따른, 비디오신호를 표시하는 방법을 소개한다. 도면을 참조하면, 도 1은 비디오신호를 표시하는 예시 방법의 단계 순서도(10)이다. 비디오신호를 사용자 프로필에 따라 디지털 처리한다(12 단계). 또한, 비디오신호를 비디오 표시 시스템의 장치 파라미터에 따라 디지털 처리한다(14 단계). 처리된 비디오신호를 비디오 표시 시스템에 표시한다(단계 16).
도 2는 디지털 영상 처리장치의 예시도이다. 디지털 영상 처리장치(20)는 보정부(22)와 출력부(24)로 구성되어 있다. 보정부(22)는 사용자 프로필에 따라 그리고 비디오 표시 시스템의 장치 파라미터에 따라 비디오신호를 디지털 처리한다. 출력부(24)는 비디오 표시 시스템으로 이 처리된 비디오신호(26)를 전송한다.
일부 실시예들에서, 도 1의 처리 순서와 도 2의 디지털 영상 처리장치는 행렬을 기반으로 하여 보정 절차를 수행할 수 있다. 도 3은 본 발명의 일측면에 따른 영상 행렬(32)과, 이에 대응하는 변환 행렬(42)을 보여준다. 비디오신호는 일련의 이미지(또는 프레임)(예컨대, 영상(30))을 공급한다. 영상(30)은 영상 행렬(32)에서 다수의 블록으로 분할된다. 예시한 영상 행렬(32)에서는 다섯 개의 행 341-5와 다섯 개의 열 351-5가 있다. 영상 행렬은 임의 개수의 행과 열로 구성될 수 있으며, 행의 수와 열의 수가 다를 수도 있다. 영상 행렬(32)의 행과 열의 교차부를 영상 블록이라고 하는데, 도면에서 예를 들자면, 행 341과 열 351의 교차부에 영상 블록(36)이 있다. 도면의 우측에는 변환 행렬(42)이 도시되어 있다. 변환 행렬(42)의 크기는 영상 행렬(32)과 일치하며, 이 역시 다섯 개의 행 441-5와 다섯 개의 열 451-5로 이루어져 있다. 변환 행렬(42)의 행과 열의 교차부를 변환 블록이라고 하는데, 도면에서 예를 들자면, 행 441과 열 451의 교차부에 변환 블록(46)이 있다. 변환 행렬의 각 블록은, 일련의 이미지(예컨대, 영상(30))를 포함하고 있는 비디오신호를 디지털적으로 처리할 때에 영상 행렬(32)의 해당 블록을 보정하기 위해 적용할 보정 계수(compensation factor) A1~A5, B1~B5, C1~C5, D1~D5, E1~E5를 포함하고 있다. 변환 행렬(42)의 이 보정 계수는 사용자 프로필 및 비디오 표시 시스템의 장치 파라미터를 기초로 산출된다. 예를 들자면(제한이 아닌 예시임), 보정 계수 A1, A5, E1, E5는 영상 행렬(32)의 해당 블록(36, 37, 38, 39)을 약간 확대하도록 함으로써, 비디오 표시 시스템의 이른바 어안 효과(fish-eye effect) 이상이 장치 파라미터에 의해 지정된 경우에 이 어안 효과를 줄일 수 있다. 또다른 예를 들자면(제한이 아닌 예시임), 보정 계수 C3에 의해서, 사용자 프로필에 지정된 사용자가 원하는 특성에 따라, 영상 행렬(32)의 중앙 영상 블록(31)의 밝기를 증가시킬 수 있다.
특정 구현에서, 영상 행렬(32)의 블록 크기와 변환 행렬(42)의 블록 크기를 1 픽셀로 설정하여 픽셀 단위(pixel-wise) 변환 행렬(42)을 만든다. 이는, 비디오신호의 영상 프레임의 각 픽셀을 변환 행렬(42)의 상응하는 픽셀로 보정하기 위한 것이다. 예를 들어, 1280 픽셀의 수평 해상도와 720 픽셀의 수직 해상도를 갖는 고화질 비디오신호의 경우에 영상 행렬(32)의 크기와 변환 행렬(42)의 크기를 각각 921,600 픽셀로 구성할 수 있다.
변환 행렬(42)은 사용자 프로필 및 비디오 표시 시스템의 장치 파라미터를 기초로 한꺼번에 비디오신호를 보정하는 데 사용할 수 있다. 또는 이와 달리, 두 개의 별도의 변환 행렬을 사용함으로써 사용자 프로필 및 장치 파라미터를 기초로 비디오신호를 별도로 보정하거나, 좌측 영상 및 우측 영상을 별도로 보정할 수 있다.
다양한 유형의 파라미터로 사용자 프로필을 구성할 수 있다. 주어진 하나의 사용자 프로필에 하나 이상의 파라미터를 포함시킬 수 있다. 일실시예에서, 사용자 프로필은 사용자의 눈의 이상을 보정하는 데 사용된다. 마찬가지로, 장치 파라미터의 다양한 유형을 고려할 수 있다. 다른 실시예에서, 장치 파라미터를 사용하여 비디오 표시 시스템의 이상을 보정할 수 있다. 반면, 비디오 표시 시스템의 이상과 사용자 눈의 이상 모두를 동시에 보정할 수 있다.
평면영상(2D) 응용의 경우에 비디오신호는 일반적으로, 하나의 표시장치 화면에 표시할 단일 군의 영상 프레임을 제공하는 하나의 비디오 입력(video feed)을 포함한다. 입체영상(3D) 응용의 경우에 비디오신호는 일반적으로, 두 개의 표시장치 화면에 표시할 복수 군의 영상 프레임을 제공하는 두 개의 비디오 입력(video feed), 또는 두 개의 비디오 입력으로 분리가능한 복합 신호를 포함한다. 따라서 도 1의 단계 순서(10), 도 2의 보정부(22)의 처리절차, 그리고 도 3의 행렬(32, 42)은 비디오신호의 좌측 및 우측 성분을 별도로 처리하기 위하여 중복해서 구비할 수 있다. 따라서, 비디오신호의 좌측 성분은 사용자의 좌측 눈의 파라미터에 따라, 그리고 비디오 표시 시스템의 좌측 구성요소의 파라미터에 따라 처리할 수 있다. 비디오신호의 우측 성분은 사용자의 우측 눈의 파라미터에 따라, 그리고 비디오 표시 시스템의 우측 구성요소의 파라미터에 따라 처리할 수 있다.
컬러 비디오신호는 일반적으로, RGB 색상 모델에 따라 세 가지 색상 성분으로 구성되어 있다. 비디오신호의 적색, 녹색, 청색 성분의 파장이 서로 다르기 때문에 사용자 눈에서의 이상 현상 또는 비디오 표시 시스템의 구성요소에서의 이상 현상이 달라지거나, 사용자가 다르게 지각할 수 있다. 일실시예에서, 도 1의 절차순서(10), 도 2의 보정부(22), 그리고 도 3의 행렬(32, 42)은 비디오신호의 적색 성분, 청색 성분, 녹색 성분을 따로따로 별도 처리할 수 있다.
도 4는 비디오신호를 디지털적으로 처리하는 단계를 보여주는 프로세스 흐름도의 예이다. 프로세스 흐름(200)에, 3D 비디오 표시 시스템에 사용하기 위해 적용된 3D 비디오신호 처리 방법의 우측 분기절차(202) 및 좌측 분기절차(232)가 표시되어 있다. 2D 비디오 표시 시스템에서 사용하는 평면(2D) 비디오신호에 있어서는 이들 분기절차(202 및 232) 중 하나만을 사용할 수 있다.
비디오신호(204)를 우측 쏘스(예를 들어, 2D용 우측 카메라, 또는 하나의 카메라)로부터 수신한다. 단계(206)에서 비디오 디코더는, 비디오신호(204)가 아날로그 형식으로 입력된 경우에는 영상 프레임을 디지털화하고, 디지털 프로토콜로부터 수신한 비디오신호(204)는 영상 프레임으로 디코드한다. 단계(208)에서, 비디오신호(204)의 쏘스에 관련된 쏘스 파라미터를 기반으로 하여 광학적 쏘스를 디지털 처리에 의해 보정하여 우측 카메라의 광학적 이상을 제거한다.
이와 달리, 다른 쏘스(예를 들어, 게임기, 컴퓨터, 또는 이와 유사한 장치 등)로부터, 비디오 성분을 갖는 신호(210)를 받을 수 있다. 이 신호(210)를 단계(212)에서 3D 비디오 디코더에 의해 처리하여, 게임과 같은 응용을 대표하는 우측 비디오신호(214) 또는 평면영상 응용을 위한 단일 비디오신호(214)를 출력한다. 단계(216)에서 선택기가, 단계(206)에서 디코딩되고 아마도 단계(208)에서 보정되었을 비디오신호(204)와 별도의 두 쏘스로부터 수신한 비디오신호(214) 중에서 선택을 한다. 일실시예에서, 옵션으로서, 단계(216)에서 선택기는, 우측 카메라로부터 수신한 비디오신호(204) 및 증강현실 시각 장치(augmented reality visual application)으로부터 온 신호(210)를 기반으로 하여 증강현실 시각 장치를 제공하기 위하여, 이들 두 비디오신호(204 및 214)를 병합한다.
단계(216)를 거쳐서 선택기에서 출력된 비디오 출력은, 단계(218)에서 비디오 표시 시스템의 우측 비디오 표시장치의 장치 파라미터에 따라 보정 처리된다. 선택기에서의 비디오 출력은 또한, 예컨대, 사용자의 우측 눈의 이상을 보정하기 위하여 단계(220)에서 사용자 프로필에 따라 보정 처리된다. 이들 단계(218) 및 단계(220)의 실행 순서는 임의적이며 하나의 디지털 처리 단계로 통합할 수도 있다. 일실시예에서, 비디오 표시 보정 단계(218) 및 눈 보정 단계(220)는 각각 별개의 변환 행렬을 사용하여 구현할 수 있다. 또다른 실시예에서, 이들 두 보정 단계(218, 220)는 공통의 변환 행렬을 사용하여 구현할 수도 있다. 결과에 관계없이, 이렇게 디지털적으로 처리한 비디오신호(222)는 우측 표시장치에 표시할 수도 있고, 또는 2D 응용을 위한 하나의 표시장치에 표시할 수도 있다.
3D 응용에 관련된 좌측 분기절차(232)는 상술한 우측 분기절차(202)와 유사하다. 즉, 이 절차에서는 좌측 카메라로부터 수신하여 단계(236)의 비디오 디코더에 의해 디코드되는(잠재적으로 단계(238)에서 광학 쏘스 보정 처리될 수도 있는) 비디오신호(234) 또는 3D 비디오 디코딩 단계(212)에서 출력된 좌측 비디오신호(244) 중 하나, 또는 이들 신호 모두가 포함된다. 단계(246)에서 선택기는 비디오신호(234 또는 244) 중 하나를 선택하거나, 이들 두 비디오신호를 병합한다. 선택기에서의 비디오 출력은 단계(248)에서 좌측 비디오 표시장치의 장치 파라미터에 따라 보정된다. 그리고 단계(250)에서는, 예컨대, 사용자의 좌측 눈의 이상을 보정하기 위하여 사용자 프로필에 따라 보정된다. 결과적으로, 디지털 처리된 영상 신호(252)가 좌측 표시장치에 시각적으로 표시된다.
사용자 프로필은 사용자의 각 눈의 이상에 관한 정보를 포함할 수 있다(예를 들어, 사용자의 우측 눈은 저도 난시와 사시, 좌측 눈은 고도 난시). 좌측 및 우측 비디오 표시장치의 장치 파라미터는 각 표시장치의 광학적 구성요소의 불완전한 곡률에 관련될 수 있는데, 이들 불완전성의 정도는 좌측 화면과 우측 화면 간에 다를 수 있다.
도 5는 본 발명에 따른 비디오 표시 시스템의 예시 블록도이다. 비디오 표시 시스템(80)은 비디오신호(84)를 수신하는 미디어 입력 인터페이스(82)를 포함한다. 디지털 영상 처리장치(86)는, 사용자 프로필에 따라 그리고 비디오 표시 시스템(80)의 장치 파라미터에 따라 비디오신호(84)의 영상을 편집한다. 표시장치(88)는 디지털 영상 처리장치(86)에서 처리한 영상을 표시한다.
도 1의 방법과 도 2의 디지털 영상 처리장치를 사용자 착용가능한 헤드셋 내에 통합할 수 있다. 도 6은 본 발명의 일실시예에 따른 비디오 헤드셋 시스템의 블록도이다. 도 6에 도시한 비디오 표시 시스템은 예시적인 실시예를 나타낸 것으로서 본 발명이 도 6에 도시한 것에 국한되는 것은 아니다. 도시한 실시예는, 유선 또는 무선 통신 링크(104)를 통해 비디오 쏘스(102)에 연결하여 비디오신호를 수신할 수 있는 통합형 필드설정 헤드셋 시스템(integrated field-configurable headset system)(100)에 관한 것이다.
이 헤드셋 시스템(100)에는 통신 링크(104)에 연결가능한 입력 인터페이스(115)를 갖는 고정장치(base station)(110)가 포함된다. 입력 인터페이스(115)는 고화질 멀티미디어 인터페이스(HDMI: high definition multimedia interface) 규격 v1.3 또는 이후 버전에 부합되는 고화질 미디어 인터페이스와 호환될 수 있어서, 고화질 이중 채널 비디오 자료(예컨대 현실적 시각감을 제공하는 입체영상 자료 등)의 입력이 가능해진다. 물론, 이와 다른 형식의 접속방식(예컨대, S-Video 접속, RGB 접속, DisplayPort 접속, Category-5 케이블 접속 등)을 통해 그 밖의 비디오신호를 얻을 수도 있다. 고정장치(110)에는 또한, 유선 또는 무선 통신 링크(130)를 통해 비디오신호 및 모든 내부 생성 정보를 헤드마운트 장치(HMD)(120)로 전달하는 출력 인터페이스(116)(예컨대, HDMI 출력 인터페이스)가 포함된다.
고정장치(110)는 사용자에게 텍스트 정보를 알려주기 위한 판독 표시장치(read-out display)(112)(예컨대, 액정 표시장치(LCD))를 포함하는 유저 인터페이스(UI)(111)와, 사용자가 헤드셋 시스템(100)에 정보를 입력할 수 있도록 하는 하나 이상의 버튼 스위치(113)를 추가로 포함하고 있다. 사용자와의 소통은 고정장치(110) 내에 위치하며 데이터 저장소를 갖는 처리장치(마이크로컨트롤러)(114)를 통해 시스템에 의해서 구동되는 메뉴를 통해 이루어질 수 있다. 따라서 사용자는 HMD(120)에 관계된 장치 파라미터 및 사용자 프로필을 구성하고 있는 파라미터를 수신하고 저장하기 위한 명령이나 질의를 요청받고, 이에 대한 단순한 응답을 한정된 개수의 버튼(113)을 사용하여 입력할 수 있다.
HMD(120)에는, 고정장치(110)를 통해 쏘스(102)로부터 전달받은 고화질 미디어 프로그램을 디코드하는 HDMI 디코딩 기능이 포함될 수 있는 입력 인터페이스(121)가 포함된다. 입력 인터페이스(121)는 또한, 고정장치(110)에서 생성된 추가 정보도 수신한다. 위에서 설명한 것과 같이, 비디오 쏘스로부터 온 비디오신호에는 다른 형식의 인터페이스로 수신한 저화질의 신호가 포함될 수 있는데, 이 경우에는 HDMI 디코딩 기능을 생략할 수 있다.
HMD(120)에는 하나의 표시장치가 포함될 수 있다. 3D 응용의 경우에는, 입력 인터페이스(121)로 받은 비디오신호를 3D 입체영상 디코더(122)를 통해 처리하여 사용자의 좌측 눈과 우측 눈에 각각 해당되는 제1 및 제2 영상열을 각각 좌측 소형 표시장치(123) 및 우측 소형 표시장치(124)를 통해 재생할 수 있다. HMD(120)의 입체영상 구현에는 또한, 좌측 디지털 영상 처리장치(125)와 우측 디지털 영상 처리장치(126)가 사용된다. 물론, 평면영상 응용의 경우에는 하나의 디지털 영상 처리장치가 사용될 것이다.
비록 도 6의 실시예에서는 시스템 기능을 별개의 구성요소, 예컨대, HMD(120)와 고정장치(110)로 물리적으로 분리해 놓았지만, 이와 달리, 보다 더 편리한 이유가 있다면 이들 구성요소 모두를 하나의 헤드셋에 통합할 수도 있을 것이다. 모든 구성요소를 HMD(120)에 통합할 경우에는, 예를 들어, 별도의 전원공급 회로(도시하지 않았음), 고정장치(110) 케이스, 및 통신 링크(130)를 생략할 수 있다. 사용자에게 보다 단순한 유저 인터페이스를 제공하기 위해서 고정장치(110)를 사용할 수 있지만, 증강 현실 유저 인터페이스를 갖는 독립형 HMD(120)도 또한 가능할 것이다. 도 6의 구성은 보다 정교한 실시예를 고려하기 위한 목적으로 도시한 것이다.
두 디지털 영상 처리장치(125 및 126)는 영상을 표시장치에 표시하기 전에 비디오신호의 영상 프레임을 고속으로 실시간 변경한다. 일실시예에서, 디지털 영상 처리장치(125 및 126)는 비디오신호의 각 영상 프레임을 도 3에서 설명한 것과 같은 영상 행렬의 영상 블록으로 분리한다. 디지털 영상 처리장치(125, 126)는 또한, 변환 행렬을 정의한다. 변환 행렬은 일반적으로 2개 군(set)의 정보를 기반으로 구성된다. 제1 데이터군(data set)은 HMD(120)의 광학적 구성요소, 특히, 소형 표시장치(123 및 124)의 하나 이상의 장치 파라미터를 포함한다. 이 장치 파라미터는 장치 내에 상주하며 HMD(120)의 본질적 구조로서 간주할 수 있다. 장치 파라미터는 HMD(120)의 비디오 표시 시스템의 이상을 보정하는 데 사용할 수 있다. 예를 들어, 장치 파라미터를 이용하여 HMD(120) 하드웨어(예컨대, 소형 표시장치(123, 124)) 및 그 밖의 광학적 구성요소(도시하지 않았음)에 의해 발생되는 것으로 알려진 왜곡 및 부작용들을 보정할 수 있다. 일실시예에서, 장치 파라미터에는 사용자가 정의가능한 또는 사용자가 선택가능한 파라미터를 포함할 수 있는데, 이들 파라미터는 HMD(120)의 광학적 구성요소의 제조상 허용오차를 보정하는 데 사용할 수 있다. 제2 데이터군은 개인적 선택 또는 사용자의 특성을 고려하기 위하여 유저 인터페이스(111)를 통해 수집한 사용자 입력 정보로부터 사용자 프로필을 구성한다. 사용자 프로필 정보의 예로서, 사용자의 양쪽 눈 및 소형 표시장치(123, 124)의 위치 사이 거리의 조정, 근시 색맹 사시 원시 등과 같은 사용자 눈의 이상의 조정, 밝기, 대비, 및 색상의 조정, 영상 흐리기 또는 선명하게 하기, 및 영상 왜곡(어안, 휨 등), 사용자의 개인적 취향의 반영 등을 들 수 있지만, 이들에만 국한되는 것은 아니다. 변환 행렬의 크기는, 예를 들어, 영상 행렬의 영상 블록의 수에 상응하는 변환 블록의 수를 구성함으로써, 영상 행렬의 크기와 일치시킨다.
사용자 프로필 파라미터 및 장치 파라미터를 HMD(120)의 좌측 및 우측에 각각 설정할 수 있다. 따라서, 예를 들어, 사용자의 좌측 눈과 우측 눈의 이상에 따라 그리고 비디오 표시장치의 좌측 표시장치 및 우측 표시장치의 이상에 따라 제1영상열과 제2영상열을 개별적으로 편집하는 것이 가능해진다.
영상의 디지털 처리에 의한 변경에는 블록 배열의 디지털 재맵핑(remapping), 또는 변환 행렬을 통한 비디오 영상의 픽셀 배열이 포함될 수 있다. 따라서 변환 행렬은 예를 들어, 그림 성분의 일부 또는 전부의 색상과 밝기 파라미터를 재정의할 수 있다. 이에 의해, 영상 속성(기하학적 왜곡, 색상, 밝기, 대비 등)은 서로 다른 기준으로 블록 단위로 또는 픽셀 단위로 편집할 수 있다.
제1 데이터군(data set)을 구성하는 장치 파라미터와 제2 데이터군을 구성하는 사용자 프로필 파라미터는 유저 인터페이스(111)를 통해 헤드셋 시스템(100)에서 수신하여 저장할 수 있다. 이에, 사용자는 앞서 언급한 메뉴 제공 방식에 따라 표시장치(112)에 표시되는 질의나 명령 요청에 대해 푸시버튼(113)을 작동시켜서 응답하게 된다. 사용자의 응답은 사용자 프로필을 구축 및/또는 장치 파라미터를 제공하기 위해 사전 설정된 파라미터군(parameter set) 중에서 사용자가 선택한 것에 관련될 것일 수 있다. 예를 들어, 소형 표시장치(123 및 124) 중 하나 또는 모두에 격자선(그리드)을 표시할 수 있고, 사용자는 버튼을 눌러서 이 격자선이 최적의 직선으로 인식되거나 명료하게 보일 때까지 한 프레임에서 다른 프레임으로 이동하도록 요청받을 수 있다. 이 때 다른 버튼을 눌러서 이 선택사항을 저장할 수 있다. 이와 유사한 절차를, 표준 보정 영상을 사용하여 각 눈마다 영상 처리 파라미터를 구성하기 위해 수행할 수 있다. 물론, 게임과 같은 일부 응용에서, 사용자는 선형성과 명료성 대신에 일정 정도의 왜곡을 선택하는 등, 현실적으로 다른 선택을 할 수 있다.
다른 방식으로서, 헤드셋 시스템(100)에는 외부 시스템 및 유저 인터페이스에 접속가능한 통신 포트(도시하지 않았음)를 구비할 수 있다. 또한 이러한 포트는 운영자 또는 수리기사가 고급 언어(high level language)를 사용하여 헤드셋 시스템의 동작 기능을 업데이트하는데 사용할 수 있을 것이다.
3D 입체영상 디코더(122) 및, 특히 디지털 영상 처리장치(124 및 125)는, 높은 처리 속도를 갖고 사용자 프로필 및 장치 파라미터를 업데이트하거나 향후의 인코딩/디코딩 규격에 적용할 수 있는 재구성상의 유연성을 갖는, 전계 프로그밍 방식 게이트 어레이(FPGA: field-programmable gate array)(127)로 구현할 수 있다.
비디오 표시장치의 이상 또는 사용자 눈의 이상과 관련된 문제가 다양한 종류의 응용에서 존재할 수 있다. 본 발명이 속한 기술 분야에서 통상의 지식을 가진 자(당업자)는, 비디오신호를 표시하는 본 발명의 방법, 본 발명의 디지털 영상 처리장치, 및 본 발명의 비디오 표시 시스템을, 헤드셋 이외의 다른 종류의 표시장치를 통해 비디오신호를 표시하는 다른 방식에도 적용할 수 있음을 쉽게 이해할 것이다. 당업자는 또한, 본 발명의 방법과 처리장치를 이용하여 평면 영상을 처리하고 변경할 수 있음을 이해할 것이다. 따라서 본 명세서에서 입체영상 헤드마운트 장치(또는 헤드셋)에 대한 설명은 예시적인 것이며 본 발명의 범위를 제한하기 위한 것이 아니다.
예시적 실시예
본 발명의 일측면에 따르면, 본 발명은 종래의 장치 및 시스템의 한계와 단점을 해결한 통합형 필드설정 헤드셋을 제공한다. 구체적인 실시예에서, 본 발명은 헤드셋 또는 헤드셋 시스템에 통합된 컴팩트한 다중화면 표시 장치에 관한 것으로서, 이 장치에는, 변경된 정보를 각 화면에 표시하기 위하여 입력 신호를 편집하는 수단이 포함된다. 이 편집 수단은 선택가능한 파라미터 및 사용자 특성에 따라 개별적으로 각 표시장치를 구성하도록 제어할 수 있다. 사용자 눈의 특성에 관한 파라미터 및 헤드셋의 광학적 구성요소에 관한 파라미터를 사용자가 선택할 수 있다. 영상 편집은 사용자 개인 특성 및/또는 파라미터에 따라, 화면별로 입체영상으로써 수행할 수 있다. 따라서 이러한 처리는 사용자가 제공한 데이터 그리고/또는 헤드셋에 상주해 있는 데이터에 기반하여 수행할 수 있고, 대화형 처리절차(interactive procedure)를 통해 특정 구성을 설정할 수 있다.
비록, 표시 시스템에서 초래되는 이상을 보정하기 위한 영상 처리 시스템이 과거에도 일부 있었지만, HMD 단위로 통합된(사용자가 제공한 정보는 통합할수도 있고 통합하지 않을 수도 있음) 사후 처리(post-processing) 시스템은 없었다. 컴퓨터에서 처리되는 교정은 동종의 시스템에 있는 기지의 표시장치에 특정된 기본값(defaults)을 예측할 수 있는 것에 불과하다. 따라서 상업용으로 미디어를 재생하는 업체에서는 표준 영상형식을 제공할 뿐이지, 표시 시스템의 특성이나 사용자 파라미터 또는 사용자 특성을 감안한 교정을 지원하지는 않는다. 이는 텔레비젼 세트나 모니터 등과 같은 대형 표시장치에서 수행될 수 있지만, 입체영상을 표시하지 않거나 사용자의 양쪽 눈 또는 다중 표시장치 채널 간의 차이를 고려하고 있지 않다. 종래의 영상 처리 시스템 중에서 사용자 파라미터 또는 특성을 고려하여 표시 시스템의 이상을 보정할 수 있는 것은 없다.
본 발명의 비디오 표시 시스템의 실시예에서, 영상은 헤드마운트 장치(HMD) 수준에서 사후 처리할 수 있다. 사용자의 시각상의 문제로 인한 이상 및 HMD의 고유 구조에 기인한 이상을, 비디오 쏘스(카메라, 컴퓨터, 또는 게임기 등을 불문함)의 표준 출력신호에 영향을 주지 않으면서, 장치 자체에서 교정할 수 있다. 증강 현실 환경 또는 사용자 개인 특성 평가 등에서의 추가 정보를 출력하기 위하여, 입력된 영상을 편집하는 것도 또한 가능하다. 증강 현실, 영상 검사(vision test), 또는 심리 테스트 환경에서, 각 눈마다 다르게 변형될 수도 있는 변경된 또는 향상된 영상을 표시하기 위하여, 비디오 쏘스로부터 수신한 영상 신호를 의도적으로 편집하는 것이 가능하다. 특히 고화질 비디오신호의 경우에 필요한 높은 처리 속도, HMD 내의 제한된 물리적 공간, 및 사용자 파라미터에 관한 정보의 수집에 관련된 문제는, 본 명세서에서 설명한 디지털 영상 처리장치와 방법을 사용하여 극복할 수 있다. 본 발명의 HMD는 새로운 미디어 정보의 인코딩 및 처리 규격으로의, 그리고 사용자 맞춤형 운용 기능으로의 지속적인 업그레이드를 가능케할 정도로 충분히 유연하다.
본 발명의 일부 실시예들은 표준 미디어 입력 인터페이스, 예를 들어, 고화질 미디어 인터페이스(HDMI) 디코더, 좌측 영상열과 우측 영상열을 생성하는 입체 영상 디코더, 영상열을 편집하는 디지털 영상 처리장치, 그리고 디지털 영상 처리장치로부터의 영상을 표시하는 표시장치 수단을 포함하는 통합된 필드설정 헤드셋에 관한 것이다. 헤드셋은, 판독 표시장치를 정의하며 사용자 조작 스위치를 정의하는 유저 인터페이스를 포함할 수 있다. 다른 실시예에서, 필드설정 헤드셋은, 유저 인터페이스를 포함하며 이 헤드셋과 통신하도록 구성된 고정장치가 포함된 시스템의 일부일 수 있다. 유저 인터페이스에는 입력 장치 및 표시장치를 포함하는 외부 시스템에 연결가능한 데이터 통신 포트가 포함될 수 있다. 유저 인터페이스는 헤드마운트 장치로 통합되거나/통합되고 시스템의 고정장치 내에 위치할 수 있다.
헤드셋은 또한, 전계 프로그래밍 방식 게이트 어레이(FPGA)를 포함할 수 있다. FPGA는 표준 미디어 입력 인터페이스 및/또는 입체영상 디코더 및/또는 제1, 제2 영상 처리장치를 최소한 부분적으로 정의할 수 있다.
디지털 영상 처리장치는 영상 변환 정보에 따라 픽셀 단위로 디지털 영상의 재맵핑(remapping)을 수행할 수 있다. 영상 변환 정보는, 설정(configuration)에 의해 정의된 파라미터, 사전에 정해진 파라미터, 및/또는 HMD에 상주하는 데이터를 포함할 수 있다. 이 영상 변환 정보는 또한, 사용자 프로필에 지정된 정보를 포함할 수 있다. 이 지정된 정보는 유저 인터페이스를 통해 헤드셋 시스템에 의해 취합될 수 있다.
따라서 본 발명에 따른 필드설정 헤드셋 및 시스템의 앞에서 예시한(제한적인 것은 아님) 실시예들은, 종래의 장치와 시스템의 상술한 한계와 단점을 해결함을 쉽게 알 수 있다. 사실상, 주어진 소재 구성 및 제조 비용에 대해 최적의 표시 상태 및 시각성을 제공하기 위한, 좌측 눈 영상 처리 및 우측 눈 영상 처리의 특정 설정치를 생성하기 위하여 디지털 영상 처리장치(125 및 126)에는 소재 의존적인 파라미터와 사용자 의존적인 파라미터를 편리하게 입력할 수 있다. 또한, 필드설정 헤드셋과 시스템을, 소재 구성(하드웨어)을 변경하지 않고도 향후의 미디어 처리 규격에 맞게 편리하게 업데이트할 수 있다.
본 발명이 속한 기술 분야에서 통상의 지식을 가진 자(당업자)는 비디오신호를 디지털적으로 처리하는 본 발명의 장치 및 방법의 설명이 예시적인 것에 불과하며 어떤 식으로도 제한적인 것이 아님을 알 것이며, 다른 실시예들 자체가 본 발명의 이익을 갖는 당업자에게 쉽게 암시될 것이다. 또한, 본 발명의 방법, 영상 처리장치, 비디오 표시 시스템을 사용자 맞춤식으로 변경함으로써, 디지털 영상 처리에 대한 기존의 요구와 문제점에 대한 가치있는 해결책을 제공할 수 있을 것이다.
본 발명이 속한 기술 분야에서 통상의 지식을 가진 자는 또한, 본 발명의 디지털 영상 처리 기능을 다양한 유형의 시각 표시 시스템 또는 기타 장치에 구현할 수 있음을 이해할 것이다.
선명도의 관점에서, 본 발명의 방법, 영상 처리장치, 비디오 표시 시스템의 구현상의 모든 통상적인 특징을 다 도시하고 설명하지는 않았다. 당연히, 디지털 영상 처리의 실제 구현시에, 개발자의 특정 목표(가령, 적용에, 시스템에, 네트웍에, 사업성에 관련된 제약들)를 달성하기 위하여 많은 결정이 필요할 것이며, 이러한 특정 목표는 구현 기술마다 또 개발자마다 다를 수 있음을 이해할 것이다. 또한, 개발의 노력은 복잡하고 시간 소모적일 수 있지만, 그럼에도 불구하고 이는 본 발명의 이익을 갖는 영상 처리 분야에서 통상의 지식을 가진 자에게는 일상적으로 맡겨지는 기술이 될 것이다.
본 발명에 따라, 본 명세서에 기재된 구성요소, 처리 단계, 및/또는 데이터 구조는 다양한 종류의 운영 시스템, 컴퓨팅 플랫폼, 네트웍 장치, 컴퓨터 프로그램, 및/또는 범용 기계를 사용하여 구현할 수 있다. 또한, 본 발명이 속한 기술 분야에서 통상의 지식을 가진 자는, 범용성이 낮은 소자(예를 들어, 하드와이어(hardwired) 소자, 주문형 집적회로(ASIC: application specific integrated circuit) 등)도 사용가능함을 인식할 것이다. 일련의 처리 단계들을 포함하는 방법을 컴퓨터 또는 기계장치로 구현하는 경우, 및 이 처리 단계들을 기계장치가 읽을 수 있는 일련의 명령어 형태로 저장하는 경우에, 이들은 유형 기록 매체에 저장할 수 있다.
본 명세서에서 설명한 시스템 및 모듈에는, 명세서에 기재한 목적에 적합한 소프트웨어, 펌웨어, 하드웨어, 또는 이들 소프트웨어·펌웨어·하드웨어의 조합(들)이 포함될 수 있다. 소프트웨어 및 기타 모듈은 서버, 워크스테이션, 개인용 컴퓨터, 태블릿 컴퓨터, PDA, 및 기타, 본 명세서에 기재한 목적에 적합한 다른 장치에 상주할 수 있다. 소프트웨어 및 기타 모듈은 네트웍을 통해, 로컬 메모리를 통해, 브라우저 또는 ASP 환경의 응용프로그램을 통해, 또는 본 명세서에 기재된 목적에 적합한 다른 수단을 통해 액세스할 수 있다. 본 발명에서의 데이터 구조에는 컴퓨터 파일, 변수, 프로그래밍 배열, 프로그래밍 구조, 또는 기타, 본 명세서에 설명된 목적에 부합되는 임의의 전자적 정보저장 정책이나 방법, 또는 이들의 조합이 포함될 수 있다.
이상에서 본 발명을 제한적이지 않은 예시적인 실시예를 통해 설명하였지만, 이들 실시예는 본 발명의 사상과 본질을 벗어나지 않는 범위에서, 첨부된 특허청구범위 내에서 의도적으로 변형할 수 있다.
10 ... 본 방법의 단계 순서
20 ... 디지털 영상 처리장치
26 ... 처리된 비디오신호
30 ... 영상
32 ... 영상 행렬
341-5 ... 행
351-5 ... 열
36 ... 영상 블록
42 ... 변환 행렬
441-5 ... 행
451-5 ... 열
46 ... 변환 블록
80 ... 비디오 표시 시스템
84 ... 비디오신호
100 ... 헤드셋 시스템
104 ... 통신 링크
110 ... 고정장치
113 ... 버튼
120 ... 헤드마운트 장치(HMD)
127 ... FPGA
130 ... 통신 링크
200 ... 본 발명의 프로세스 흐름
202 ... 우측 분기절차
204 ... 비디오신호
210 ... 다른 쏘스로부터 온 비디오신호
212 ... 3D 비디오 디코딩 단계
214 ... 우측 비디오신호 또는 평면영상 응용에 사용되는 단일 비디오신호
222 ... 디지털 처리한 비디오신호
232 ... 좌측 분기절차
234 ... 좌측 카메라로부터 수신한 비디오신호
244 ... 좌측 비디오신호
252 ... 디지털 처리된 영상 신호

Claims (31)

  1. 비디오신호 표시 방법으로서,
    좌측 성분 및 우측 성분을 포함하는 비디오신호를 수신하는 절차,
    사용자 프로필에 따라 상기 사용자 프로필에서 특정되는 좌측 눈의 근시, 원시 또는 난시를 보정하기 위해 상기 비디오신호의 상기 좌측 성분을 디지털적으로 처리하고, 상기 사용자 프로필에서 특정되는 우측 눈의 근시, 원시 또는 난시를 보정하기 위해 상기 비디오신호의 상기 우측 성분을 디지털적으로 처리하는 절차,
    비디오 표시 시스템의 장치 파라미터에 따라 상기 비디오 표시 시스템의 상기 장치 파라미터에 의해 특정되는 왜곡을 보정하기 위해 상기 비디오신호의 상기 좌측 성분 및 상기 비디오신호의 상기 우측 성분을 디지털적으로 처리하는 절차, 및
    처리한 상기 비디오신호를 비디오 표시 시스템에 표시하는 절차
    를 포함하는 비디오신호 표시 방법.
  2. 제1항에 있어서, 상기 비디오 표시 시스템은 헤드셋에 통합되는, 비디오신호 표시 방법.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 비디오신호의 쏘스에 관련된 쏘스 파라미터에 따라 상기 비디오신호를 디지털적으로 처리하는 절차
    를 더 포함하는, 비디오신호 표시 방법.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 비디오신호의 좌측 성분과 우측 성분을 별도로 처리하는 절차,
    상기 비디오 표시 시스템의 좌측 구성요소의 파라미터에 따라 상기 비디오 표시 시스템의 상기 좌측 구성요소에서의 상기 왜곡을 보정하기 위해 상기 비디오신호의 상기 좌측 성분을 디지털적으로 처리하는 절차, 및
    상기 비디오 표시 시스템의 우측 구성요소의 파라미터에 따라 상기 비디오 표시 시스템의 상기 우측 구성요소에서의 상기 왜곡을 보정하기 위해 상기 비디오신호의 상기 우측 성분을 디지털적으로 처리하는 절차
    를 더 포함하는, 비디오신호 표시 방법.
  9. 제1항에 있어서,
    상기 비디오신호의 적색, 청색, 녹색 성분을 별도로 처리하는 절차
    를 더 포함하는, 비디오신호 표시 방법.
  10. 제1항에 있어서,
    상기 사용자 프로필을 수신하고 저장하는 절차
    를 더 포함하는, 비디오신호 표시 방법.
  11. 제1항에 있어서,
    상기 장치 파라미터에 관련된 파라미터를 수신하고 저장하는 절차
    를 더 포함하는, 비디오신호 표시 방법.
  12. 제1항에 있어서,
    사전 설정된 사용자 프로필 파라미터군을 제공하는 절차, 및
    상기 사전 설정된 파라미터군 중에서 파라미터를 선택하는 절차
    를 더 포함하는, 비디오신호 표시 방법.
  13. 제1항에 있어서,
    사전 설정된 장치 파라미터군을 제공하는 절차, 및
    상기 사전 설정된 파라미터군 중에서 파라미터를 선택하는 절차
    를 더 포함하는, 비디오신호 표시 방법.
  14. 제1항에 있어서,
    상기 비디오신호의 각 영상을 영상 행렬의 영상 블록들로 분할하는 절차, 및
    상기 영상 행렬의 크기와 일치하며 상기 영상 행렬의 블록 크기와 일치하는 크기의 변환 블록을 포함하는 변환 행렬을 정의하는 절차
    를 더 포함하되,
    상기 비디오신호를 디지털적으로 처리하는 절차는, 각 영상 블록을, 이에 대응되는 변환 블록을 사용하여 보정하는 절차를 포함하는, 비디오신호 표시 방법.
  15. 제1항에 있어서,
    픽셀 단위의 변환 행렬을 정의하는 절차
    를 더 포함하되,
    상기 비디오신호를 디지털적으로 처리하는 절차는, 상기 비디오신호의 각 픽셀을, 상기 변환 행렬의 픽셀로 보정하는 절차를 포함하는, 비디오신호 표시 방법.
  16. 제1항에 있어서,
    다수의 쏘스로부터 온 비디오신호를 병합하는 절차
    를 더 포함하는, 비디오신호 표시 방법.
  17. 디지털 영상 처리장치로서,
    사용자 프로필에 따라 상기 사용자 프로필에서 특정되는 좌측 눈의 근시, 원시 또는 난시를 보정하기 위해 비디오신호의 좌측 성분을 디지털적으로 처리하고, 상기 사용자 프로필에서 특정되는 우측 눈의 근시, 원시 또는 난시를 보정하기 위해 상기 비디오신호의 우측 성분을 디지털적으로 처리하며, 비디오 표시 시스템의 장치 파라미터에 따라 상기 비디오 표시 시스템의 상기 장치 파라미터에 의해 특정되는 왜곡을 보정하기 위해 상기 비디오신호의 상기 좌측 성분과 상기 비디오신호의 상기 우측 성분을 디지털적으로 처리하는 기능을 하는 보정부, 및
    처리한 상기 비디오신호를 상기 비디오 표시 시스템으로 전송하는 기능을 하는 출력부
    를 포함하는 디지털 영상 처리장치.
  18. 제17항에 있어서, 상기 디지털 영상 처리장치는 헤드셋에 통합되는, 디지털 영상 처리장치.
  19. 삭제
  20. 삭제
  21. 제17항에 있어서, 상기 보정부는 상기 비디오신호의 쏘스에 관련된 쏘스 파라미터에 따라 상기 비디오신호를 디지털적으로 처리하는 기능을 추가로 하는, 디지털 영상 처리장치.
  22. 제17항에 있어서, 상기 보정부는 상기 비디오신호의 적색, 녹색, 청색 성분을 별도로 처리하는 기능을 하는, 디지털 영상 처리장치.
  23. 삭제
  24. 비디오 표시 시스템에 있어서,
    좌측 성분과 우측 성분을 포함하는 비디오신호를 수신하는 미디어 입력 인터페이스,
    사용자 프로필에 따라 그리고 상기 비디오 표시 시스템의 장치 파라미터에 따라 상기 비디오신호의 영상을 편집하는 디지털 영상 처리 장치 - 상기 비디오신호의 영상을 편집하는 것은, 상기 사용자 프로필에서 특정되는 좌측 눈의 근시, 원시 또는 난시를 보정하기 위해 상기 비디오신호의 상기 좌측 성분을 디지털적으로 처리하고, 상기 사용자 프로필에서 특정되는 우측 눈의 근시, 원시 또는 난시를 보정하기 위해 상기 비디오신호의 상기 우측 성분을 디지털적으로 처리하며, 상기 비디오 표시 시스템의 상기 장치 파라미터에 의해 특정되는 왜곡을 보정하기 위해 상기 비디오신호의 상기 좌측 성분과 상기 비디오신호의 상기 우측 성분을 디지털적으로 처리하는 것을 포함함 -, 및
    상기 디지털 영상 처리장치에서 처리된 상기 비디오신호의 영상을 표시하는 표시장치
    를 포함하는 비디오 표시 시스템.
  25. 제24항에 있어서, 상기 미디어 입력 인터페이스, 상기 디지털 영상 처리장치, 상기 표시장치는 헤드셋에 통합되는, 비디오 표시 시스템.
  26. 제24항에 있어서,
    상기 미디어 입력 인터페이스를 포함하고, 상기 디지털 영상 처리장치로 상기 비디오신호를 전송하는 출력 인터페이스를 추가로 포함하는 고정장치
    를 더 포함하되,
    상기 디지털 영상 처리장치와 상기 표시장치는 헤드셋에 통합되는, 비디오 표시 시스템.
  27. 삭제
  28. 삭제
  29. 제24항에 있어서,
    상기 비디오신호로부터 제1영상열과 제2영상열을 생성하는 입체영상 디코더
    를 더 포함하되,
    상기 디지털 영상 처리장치는, 사용자의 좌측 눈과 사용자의 우측 눈의 이상에 따라 그리고 비디오 표시 시스템의 좌측 표시장치와 우측 표시장치의 이상에 따라 상기 제1 및 제2영상열을 별도로 편집하는 기능을 추가로 하는, 비디오 표시 시스템.
  30. 제24항에 있어서, 상기 사용자 프로필 및 상기 장치 파라미터를 입력하는 유저 인터페이스
    를 더 포함하는, 비디오 표시 시스템.
  31. 제30항에 있어서, 상기 유저 인터페이스는, 메모리에 저장된 사전 설정된 파라미터군 중에서 상기 사용자 프로필 및 장치 파라미터를 선택하는 기능을 하는, 비디오 표시 시스템.
KR1020127027210A 2010-03-19 2011-03-18 비디오신호를 디지털적으로 처리하기 위한 방법, 디지털 영상 처리장치, 및 비디오 표시 시스템 KR101899603B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CA2696925A CA2696925A1 (en) 2010-03-19 2010-03-19 Integrated field-configurable headset and system
CA2,696,925 2010-03-19
US28271810P 2010-03-22 2010-03-22
US61/282,718 2010-03-22
PCT/CA2011/000294 WO2011113152A1 (en) 2010-03-19 2011-03-18 Method, digital image processor and video display system for digitally processing a video signal

Publications (2)

Publication Number Publication Date
KR20130004506A KR20130004506A (ko) 2013-01-10
KR101899603B1 true KR101899603B1 (ko) 2018-09-17

Family

ID=44648388

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127027210A KR101899603B1 (ko) 2010-03-19 2011-03-18 비디오신호를 디지털적으로 처리하기 위한 방법, 디지털 영상 처리장치, 및 비디오 표시 시스템

Country Status (7)

Country Link
US (1) US9625721B2 (ko)
EP (1) EP2548374A4 (ko)
JP (2) JP2013522974A (ko)
KR (1) KR101899603B1 (ko)
CN (1) CN102893620B (ko)
CA (2) CA2696925A1 (ko)
WO (1) WO2011113152A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2696925A1 (en) * 2010-03-19 2011-09-19 Bertrand Nepveu Integrated field-configurable headset and system
CN105915880B (zh) * 2010-08-10 2018-02-23 株式会社尼康 图像处理装置和图像处理方法
US10083639B2 (en) * 2011-02-04 2018-09-25 Seiko Epson Corporation Control device for controlling image display device, head-mounted display device, image display system, control method for the image display device, and control method for the head-mounted display device
JP2013097096A (ja) * 2011-10-31 2013-05-20 Seiko Epson Corp 画像表示装置を制御する制御装置、頭部装着型表示装置、画像表示システム、画像表示装置の制御方法および頭部装着型表示装置の制御方法
US9536251B2 (en) * 2011-11-15 2017-01-03 Excalibur Ip, Llc Providing advertisements in an augmented reality environment
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US20140362110A1 (en) * 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
KR102077105B1 (ko) * 2013-09-03 2020-02-13 한국전자통신연구원 사용자 인터랙션을 위한 디스플레이를 설계하는 장치 및 방법
US10051262B2 (en) * 2014-06-19 2018-08-14 Hangzhou 3Dworld Technology Co., Ltd. Control circuit of high-definition naked-eye portable stereoscopic video player and stereoscopic video conversion method
CN104144335B (zh) * 2014-07-09 2017-02-01 歌尔科技有限公司 一种头戴式可视设备和视频系统
CN107003523B (zh) * 2014-10-24 2019-05-14 埃马金公司 基于微显示器的沉浸式头戴视图器
US10599764B2 (en) 2015-11-02 2020-03-24 Microsoft Technology Licensing, Llc Operations on images associated with cells in spreadsheets
US11157689B2 (en) 2015-11-02 2021-10-26 Microsoft Technology Licensing, Llc Operations on dynamic data associated with cells in spreadsheets
CN106097990B (zh) * 2016-05-13 2019-04-26 联想(北京)有限公司 一种显示控制方法及电子设备
EP3574364A4 (en) * 2017-01-25 2020-04-15 Samsung Electronics Co., Ltd. HEAD-MOUNTED DISPLAY DEVICE AND METHOD FOR THE PRODUCTION OF INFORMATION OF A 3D IMAGE
TW201917447A (zh) * 2017-10-27 2019-05-01 廣達電腦股份有限公司 頭戴式顯示裝置以及色差強化方法
KR102519355B1 (ko) * 2018-02-02 2023-04-10 삼성디스플레이 주식회사 헤드 마운트 디스플레이 장치 및 이의 구동 방법
DE202019101235U1 (de) * 2019-03-05 2020-03-06 Christian P. Benzing Sehhilfevorrichtung

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005142957A (ja) * 2003-11-07 2005-06-02 Sony Corp 撮像装置及び方法、撮像システム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0961750A (ja) * 1995-08-22 1997-03-07 Seiko Epson Corp 頭部装着型表示装置
US6456340B1 (en) 1998-08-12 2002-09-24 Pixonics, Llc Apparatus and method for performing image transforms in a digital display system
US7134091B2 (en) * 1999-02-01 2006-11-07 Microsoft Corporation Quality of displayed images with user preference information
JP2000308090A (ja) * 1999-04-19 2000-11-02 Telecommunication Advancement Organization Of Japan 映像表示処理装置及び映像撮影処理装置並びにカメラ制御装置
JP2002189441A (ja) * 2000-10-11 2002-07-05 Olympus Optical Co Ltd 頭部装着型映像表示装置
US6833843B2 (en) * 2001-12-03 2004-12-21 Tempest Microsystems Panoramic imaging and display system with canonical magnifier
US20040008157A1 (en) * 2002-06-26 2004-01-15 Brubaker Curtis M. Cap-mounted monocular video/audio display
US7145726B2 (en) * 2002-08-12 2006-12-05 Richard Geist Head-mounted virtual display apparatus for mobile activities
JP4287375B2 (ja) * 2002-09-24 2009-07-01 健爾 西 画像表示装置及び投影光学系
US7050078B2 (en) * 2002-12-19 2006-05-23 Accenture Global Services Gmbh Arbitrary object tracking augmented reality applications
US7083283B2 (en) * 2003-07-22 2006-08-01 Seiko Epson Corporation Projector
JP4642400B2 (ja) * 2004-07-20 2011-03-02 オリンパス株式会社 情報表示システム
CA2575704C (en) * 2004-07-30 2014-03-04 Extreme Reality Ltd. A system and method for 3d space-dimension based image processing
JP4635572B2 (ja) * 2004-11-09 2011-02-23 コニカミノルタホールディングス株式会社 映像表示装置
FR2878032B1 (fr) * 2004-11-18 2007-03-02 Horiba Abx Sa Sa Dispositif d'inspection d'un fluide par illumination uniforme au moyen d'un guide de lumiere conforme
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
JP4379438B2 (ja) * 2006-06-09 2009-12-09 株式会社ニコン 画像表示装置
JP5483796B2 (ja) * 2006-08-31 2014-05-07 キヤノン株式会社 画像表示装置および画像表示システム
JP2008258802A (ja) * 2007-04-03 2008-10-23 Canon Inc 画像表示システム
US7978208B2 (en) * 2007-04-16 2011-07-12 General Electric Company Systems and methods for multi-source video distribution and composite display
JP4689639B2 (ja) * 2007-04-25 2011-05-25 キヤノン株式会社 画像処理システム
CN101953150A (zh) * 2007-12-20 2011-01-19 Ati技术无限责任公司 用于描述视频处理的方法、设备及其机器可读取介质
JP5231799B2 (ja) * 2007-12-25 2013-07-10 キヤノン株式会社 制御装置、表示装置及びそれらの制御方法、複合現実システム、及びコンピュータプログラム
US20090189830A1 (en) * 2008-01-23 2009-07-30 Deering Michael F Eye Mounted Displays
US20090213038A1 (en) * 2008-02-25 2009-08-27 Joseph Huang Head Mounted Display and Real-Time Video Device
US8259163B2 (en) * 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US20090238378A1 (en) * 2008-03-18 2009-09-24 Invism, Inc. Enhanced Immersive Soundscapes Production
US20100013910A1 (en) * 2008-07-21 2010-01-21 Vivid Medical Stereo viewer
CA2696925A1 (en) * 2010-03-19 2011-09-19 Bertrand Nepveu Integrated field-configurable headset and system
JP5929567B2 (ja) * 2012-07-03 2016-06-08 ソニー株式会社 画像信号処理装置、および画像信号処理方法、並びにプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005142957A (ja) * 2003-11-07 2005-06-02 Sony Corp 撮像装置及び方法、撮像システム

Also Published As

Publication number Publication date
KR20130004506A (ko) 2013-01-10
JP2017022752A (ja) 2017-01-26
JP6400645B2 (ja) 2018-10-03
CA2830734C (en) 2018-10-02
CA2830734A1 (en) 2011-09-22
EP2548374A4 (en) 2017-05-17
US20130016193A1 (en) 2013-01-17
EP2548374A1 (en) 2013-01-23
CN102893620B (zh) 2017-05-24
WO2011113152A1 (en) 2011-09-22
CN102893620A (zh) 2013-01-23
JP2013522974A (ja) 2013-06-13
CA2696925A1 (en) 2011-09-19
US9625721B2 (en) 2017-04-18

Similar Documents

Publication Publication Date Title
KR101899603B1 (ko) 비디오신호를 디지털적으로 처리하기 위한 방법, 디지털 영상 처리장치, 및 비디오 표시 시스템
KR102467376B1 (ko) 디스플레이 처리 회로
CN102783164B (zh) 立体感视频显示装置、及立体感视频显示装置的动作方法
US20200051219A1 (en) Distortion meshes against chromatic aberrations
CA2752691C (en) Systems, apparatus and methods for subtitling for stereoscopic content
CN102461181B (zh) 用于提供3d用户界面的立体图像再现装置和方法
US8564647B2 (en) Color management of autostereoscopic 3D displays
US10192517B2 (en) Method of adapting a source image content to a target display
KR101489261B1 (ko) 상영관 파라미터 관리 장치 및 방법
CN101632311A (zh) 利用多个单独设置的图像观察
CN104219515A (zh) 图像处理装置
CN110730341A (zh) 一种基于裸眼3d的手机光栅膜校准方法
US10395349B1 (en) Display system with tunable lens distortion compensation
US20140169760A1 (en) Media Player with Recorder Optimization
JP2001297323A (ja) レンズカラーセレクション方法及び装置
KR102656507B1 (ko) 디스플레이 처리 회로
KR20060086778A (ko) 이동통신 단말기의 이미지 보정 장치
JP2012128357A (ja) 映像表示装置及び映像表示方法
CN103181176A (zh) 立体影像输出装置、立体影像输出方法、立体影像输出程序及计算机可读取的记录介质、以及立体影像显示装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant