KR20110118530A - 영상 데이터 출력 시스템과 이를 위한 영상 출력 장치 - Google Patents

영상 데이터 출력 시스템과 이를 위한 영상 출력 장치 Download PDF

Info

Publication number
KR20110118530A
KR20110118530A KR1020100038192A KR20100038192A KR20110118530A KR 20110118530 A KR20110118530 A KR 20110118530A KR 1020100038192 A KR1020100038192 A KR 1020100038192A KR 20100038192 A KR20100038192 A KR 20100038192A KR 20110118530 A KR20110118530 A KR 20110118530A
Authority
KR
South Korea
Prior art keywords
image data
gaze
scene
image
objects
Prior art date
Application number
KR1020100038192A
Other languages
English (en)
Other versions
KR101740728B1 (ko
Inventor
김재형
홍종철
권봉기
Original Assignee
주식회사 비즈모델라인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비즈모델라인 filed Critical 주식회사 비즈모델라인
Priority to KR1020100038192A priority Critical patent/KR101740728B1/ko
Publication of KR20110118530A publication Critical patent/KR20110118530A/ko
Application granted granted Critical
Publication of KR101740728B1 publication Critical patent/KR101740728B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal

Abstract

본 발명은 영상 데이터 출력 시스템과 이를 위한 영상 출력 장치에 관한 것으로, 본 발명에 따른 영상 데이터 출력 시스템은, 사용자의 시선을 추적하는 시선 추적 센서를 구비한 영상 출력 장치와 연결된 서버의 영상 데이터 출력 시스템에 있어서, 영상 데이터의 비디오 데이터를 기반으로 상기 영상 데이터의 각 장면을 식별하는 장면 식별 정보와 상기 영상 데이터에 포함된 N(N>1)개의 객체 중 상기 장면 식별 정보에 대응하는 각 장면 별 n(1≤n≤N)개의 객체 정보 및 각 장면 별 n개의 객체에 대한 사용자 시선 방향의 깊이(Depth)에 대응하는 객체 깊이 값을 결정하는 정보 결정수단과, 상기 결정된 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 상기 영상 데이터와 연결하여 영상매체에 저장(또는 전달)하는 영상매체 운영수단과, 상기 영상 출력 장치를 통해 상기 영상 데이터 출력 시, 상기 장면 식별 정보를 통해 상기 출력되는 영상 데이터의 장면을 식별하고, 상기 장면에 포함된 n개의 객체를 식별하는 객체 식별수단과, 상기 시선 추적 센서를 통해 사용자의 시선을 추적하여 상기 n개의 객체 중 상기 사용자의 시선이 집중되는 어느 하나의 시선 집중 객체를 검출하는 시선 집중 객체 검출수단과, 상기 검출된 시선 집중 객체를 오토포커싱(Autofocussing)하는 오토포커싱 처리수단과, 상기 장면에 포함된 시선 집중 객체와 (n-1)개의 객체의 깊이를 비교하여 상기 시선 집중 객체의 깊이를 기준으로 i(0≤i≤(n-1))개의 블러링(Blurring) 대상 객체를 결정하는 블러링 대상 결정수단과, 상기 시선 집중 객체와 i개의 블러링 대상 객체 간 깊이 차이에 비례하여 상기 i개의 블러링 대상 객체를 블러링하는 블러링 처리수단을 구비한다.

Description

영상 데이터 출력 시스템과 이를 위한 영상 출력 장치{System and Device for Displaying of Video Data}
본 발명은 사용자의 시선을 추적하여 영상 데이터의 각 장면에 포함된 n(n≥1)개의 객체 중 사용자의 시선이 집중되는 시선 집중 객체를 오토포커싱(Autofocussing)하되, 상기 사용자의 시선 방향에 대한 깊이 차이에 따라 상기 (n-1)개의 객체 중 i(0≤i≤(n-1))개의 객체를 상기 시선 집중 객체와의 깊이(Depth) 차이에 따라 블러링(Blurring)하는 영상 출력 시스템과 영상 출력 장치를 제공하는 것이다.
영상 편집 기술과 정보 통신 기술이 융합되면서 대부분의 영상 출력 장치는 디지털 영상을 출력하는 기능을 구비하고 있다. 예를들어, 최근 영화관에서 상영하는 영화도 종래 영화 필름에서 점차 영화 컨텐츠 파일 형태로 배급되고 있다.
한편 사용자가 감상하는 대부분의 영상은 영상 편집자가 편집한 영상을 그대로 출력하는 일방향적 영상을 포함하고 있다. 최근 이와 같은 문제를 해결하고자 영상 데이터 안에 사용자와 상호 작용할 수 있는 기능을 구비한 맞춤형 영상 서비스가 제공되고 있다. 예를들어, 일부 DVD의 경우 사용자가 영상 내에 포함된 각종 정보를 확인할 수 있는 인터페이스 기능을 포함하고 있다.
그러나 사용자와 영상 간 상호 작용 기능은 거의 이용되지 않고 있다. 이것은 상기 사용자와 영상 간 상호 작용 기능이 복잡한 이유도 있지만, 대부분의 사용자가 영상을 감상하기 전 또는 감상 중에 무엇인가를 조작하는 것을 꺼리기 때문이며, 영상을 감상한 후에는 더 이상 해당 영상에 흥미를 잃기 때문이다.
상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 사용자의 시선을 추적하여 영상 데이터의 각 장면에 포함된 n(n≥1)개의 객체 중 사용자의 시선이 집중되는 시선 집중 객체를 오토포커싱(Autofocussing)하되, 상기 사용자의 시선 방향에 대한 깊이 차이에 따라 상기 (n-1)개의 객체 중 i(0≤i≤(n-1))개의 객체를 상기 시선 집중 객체와의 깊이(Depth) 차이에 따라 블러링(Blurring)하여 사용자의 시선이 집중되는 객체를 더욱 선명하게 출력하도록 하는 것이다.
본 발명의 다른 목적은, 상기 영상 데이터의 각 장면에 포함된 n개의 객체 중 사운드와 연관된 n’개의 사운드 객체와 사운드 데이터를 결정한 후, 상기 시선 집중 객체가 상기 사운드 객체와 매칭되면, 상기 시선 집중 사운드 객체와 연관된 사운드 데이터를 증폭하거나 또는 음성 분별력을 향상시켜 사용자의 시선이 집중되는 객체와 연관된 사운드가 보다 명확하게 출력되도록 것이다.
본 발명의 또다른 목적은, 상기 영상 데이터의 각 장면에 포함된 n개의 객체 중 M개의 결말과 연관된 n”개의 스토리 분기 객체를 결정한 후, 상기 도면2에 도시된 과정을 통해 검출된 시선 집중 객체가 상기 스토리 분기 객체와 매칭되면, 상기 M개의 결말 중 상기 시선 집중 스토리 분기 객체와 연관된 제m 결말에 대응하는 영상 데이터를 출력하여 사용자의 시선이 집중되는 객체와 연관된 결말이 출력되도록 것이다.
본 발명에 따른 영상 데이터 출력 시스템은, 사용자의 시선을 추적하는 시선 추적 센서를 구비한 영상 출력 장치와 연결된 서버의 영상 데이터 출력 시스템에 있어서, 영상 데이터의 비디오 데이터를 기반으로 상기 영상 데이터의 각 장면을 식별하는 장면 식별 정보와 상기 영상 데이터에 포함된 N(N>1)개의 객체 중 상기 장면 식별 정보에 대응하는 각 장면 별 n(1≤n≤N)개의 객체 정보 및 각 장면 별 n개의 객체에 대한 사용자 시선 방향의 깊이(Depth)에 대응하는 객체 깊이 값을 결정하는 정보 결정수단과, 상기 결정된 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 상기 영상 데이터와 연결하여 영상매체에 저장(또는 전달)하는 영상매체 운영수단과, 상기 영상 출력 장치를 통해 상기 영상 데이터 출력 시, 상기 장면 식별 정보를 통해 상기 출력되는 영상 데이터의 장면을 식별하고, 상기 장면에 포함된 n개의 객체를 식별하는 객체 식별수단과, 상기 시선 추적 센서를 통해 사용자의 시선을 추적하여 상기 n개의 객체 중 상기 사용자의 시선이 집중되는 어느 하나의 시선 집중 객체를 검출하는 시선 집중 객체 검출수단과, 상기 검출된 시선 집중 객체를 오토포커싱(Autofocussing)하는 오토포커싱 처리수단과, 상기 장면에 포함된 시선 집중 객체와 (n-1)개의 객체의 깊이를 비교하여 상기 시선 집중 객체의 깊이를 기준으로 i(0≤i≤(n-1))개의 블러링(Blurring) 대상 객체를 결정하는 블러링 대상 결정수단과, 상기 시선 집중 객체와 i개의 블러링 대상 객체 간 깊이 차이에 비례하여 상기 i개의 블러링 대상 객체를 블러링하는 블러링 처리수단을 구비한다.
본 발명에 따르면, 상기 영상 데이터 출력 시스템에서 상기 정보 결정수단은 상기 각 장면 별 n개의 객체 중 상기 영상 데이터의 오디오 데이터를 기반으로 각 장면 별 사운드와 연관된 n’(0≤n’≤n)개의 사운드 객체 정보와 상기 n’개의 사운드 객체 별 사운드 데이터를 더 결정하고, 상기 영상매체 운영수단은 상기 n’개의 사운드 객체 정보와 각 사운드 객체 별 사운드 데이터를 상기 영상 데이터와 연결하여 상기 영상매체에 유지시킬 수 있다.
본 발명에 따르면, 상기 영상 데이터 출력 시스템은, 상기 영상매체에 상기 영상 데이터의 각 장면 별 사운드와 연관된 n’(0≤n’≤n)개의 사운드 객체 정보와 각 사운드 객체 별 사운드 데이터가 유지되는 경우, 상기 시선 집중 객체 검출수단을 통해 시선 집중 객체가 검출되면, 상기 시선 집중 객체가 상기 사운드 객체에 상응하는지 확인하는 사운드 객체 확인수단과, 시선 집중 사운드 객체가 확인되면, 상기 시선 집중 사운드 객체의 사운드 데이터를 증폭시키거나 또는 음성의 분별력을 향상시키는 사운드 조정수단을 더 구비할 수 있다.
본 발명에 따르면, 상기 영상 데이터 출력 시스템에서 상기 사운드 조정수단은 상기 장면에 포함된 (n-1)개의 객체 중 상기 사운드 데이터와 연관되며 상기 시선 집중 사운드 객체를 제외한 j(0≤j≤(n-1))개의 사운드 객체를 결정한 후, 상기 시선 집중 사운드 객체와 상기 j개의 사운드 객체 간 깊이 차이에 비례하여 상기 j개의 사운드 객체의 사운드 데이터를 감소시키거나 또는 음성의 분별력을 감소시킬 수 있다.
본 발명에 따르면, 상기 영상 데이터 출력 시스템에서 상기 영상 데이터는 M(M>1)개의 서로 다른 결말을 포함하여 구성되며, 상기 정보 결정수단은 상기 각 장면 별 n개의 객체 중 상기 M개의 다른 결말과 연관된 n”(0≤n’≤n)개의 스토리 분기 객체 정보를 더 결정하고, 상기 영상매체 운영수단은 상기 n”개의 스토리 분기 객체 정보를 상기 영상 데이터와 연결하여 상기 영상매체에 유지시킬 수 있다.
본 발명에 따르면, 상기 영상 데이터 출력 시스템은, 상기 영상매체에 상기 영상 데이터의 서로 다른 M(M>1)개의 결말과 연관된 n”(0≤n’≤n)개의 스토리 분기 객체 정보가 유지되는 경우, 상기 시선 집중 객체 검출수단을 통해 시선 집중 객체가 검출되면, 상기 시선 집중 객체가 상기 스토리 분기 객체에 상응하는지 확인하는 스토리 분기 객체 확인수단과, 시선 집중 스토리 분기 객체가 확인되면, 상기 영상 데이터의 결말을 상기 M개의 서로 다른 결말 중 상기 시선 집중 스토리 분기 객체와 연관된 제m(1≤m≤M) 결말로 결정하는 스토리 분기수단을 더 구비할 수 있다.
본 발명에 따르면, 상기 영상 데이터 출력 시스템에서 상기 영상 데이터는, 카메라를 통해 촬영된 실사 영상에 포함된 실사 객체의 식별이 가능한 실사 영상 데이터, 텍스쳐가 매핑/렌더링된 폴리곤으로 구성된 가상 영상에 포함된 폴리곤에 대응하는 가상 객체의 식별이 가능한 가상 영상 데이터, 상기 실사 영상과 가상 영상이 결합된 영상에 포함된 실사 객체와 가상 객체 중 적어도 하나의 객체 식별이 가능한 실사/가상 영상 데이터, 양안시차에 의한 입체감을 표시하는 3D 카메라를 통해 촬영된 실사 입체 영상에 포함된 실사 입체감 객체의 식별이 가능한 실사 입체 영상 데이터, 상기 양안시차에 의한 입체감이 표시되도록 구성된 폴리곤에 텍스쳐를 매핑/렌더링하여 구성된 가상 입체 영상에 포함된 가상 입체감 객체의 식별이 가능한 가상 입체 영상 데이터, 및 상기 실사 입체 영상과 가상 입체 영상이 결합된 입체 영상에 포함된 실사 입체감 객체와 가상 입체감 객체 중 적어도 하나의 입체감 객체의 식별이 가능한 실사/가상 입체 영상 데이터를 적어도 하나 포함할 수 있다.
본 발명에 따른 영상 데이터 출력 시스템은, 영상 데이터의 비디오 데이터를 기반으로 각 장면을 식별하는 장면 식별 정보와 상기 영상 데이터에 포함된 N(N>1)개의 객체 중 상기 장면 식별 정보에 대응하는 각 장면 별 n(1≤n≤N)개의 객체 정보 및 각 장면 별 n개의 객체에 대한 사용자 시선 방향의 깊이(Depth)를 표시하는 객체 깊이 값을 상기 영상 데이터와 연결하여 유지하는 영상매체와, 상기 영상 데이터 출력 시, 상기 영상 데이터의 각 장면에 포함된 n개의 객체를 식별하고, 시선 추적 센서를 통해 상기 n개의 객체 중 상기 사용자의 시선이 집중되는 어느 하나의 시선 집중 객체를 검출하여 오토포커싱(Autofocussing)하는 영상 출력 장치를 구비하며, 상기 영상매체는 상기 영상 데이터를 저장하는 저장매체 또는 상기 영상 데이터를 상기 영상 출력 장치로 전송하는 전달매체 중 적어도 하나를 포함한다.
본 발명에 따르면, 상기 영상 데이터 출력 시스템에서 상기 영상 출력 장치는 상기 시선 집중 객체와 (n-1)개의 객체의 깊이를 비교하여 상기 시선 집중 객체의 깊이를 기준으로 i(0≤i≤(n-1))개의 블러링(Blurring) 대상 객체를 결정하고, 상기 시선 집중 객체와 i개의 블러링 대상 객체 간 깊이 차이에 비례하여 상기 i개의 블러링 대상 객체를 블러링할 수 있다.
본 발명에 따른 영상 출력 장치는, 사용자의 시선을 추적하는 시선 추적 센서를 구비하고 영상매체로부터 전달되는 영상 데이터를 출력하는 영상 출력 장치에 있어서, 영상 데이터의 비디오 데이터를 기반으로 각 장면을 식별하는 장면 식별 정보와 상기 영상 데이터에 포함된 N(N>1)개의 객체 중 상기 장면 식별 정보에 대응하는 각 장면 별 n(1≤n≤N)개의 객체 정보 및 각 장면 별 n개의 객체에 대한 사용자 시선 방향의 깊이(Depth)를 표시하는 객체 깊이 값을 확인하는 정보 확인부와, 상기 영상 데이터 출력 시, 상기 장면 식별 정보를 통해 상기 출력되는 영상 데이터의 장면을 식별하고, 상기 장면에 포함된 n개의 객체를 식별하는 객체 식별부와, 상기 시선 추적 센서를 통해 사용자의 시선을 추적하여 상기 n개의 객체 중 상기 사용자의 시선이 집중되는 어느 하나의 시선 집중 객체를 검출하는 시선 집중 객체 검출부와, 상기 검출된 시선 집중 객체를 오토포커싱(Autofocussing)하는 오토포커싱 처리부와, 상기 시선 집중 객체와 (n-1)개의 객체의 깊이를 비교하여 상기 시선 집중 객체의 깊이를 기준으로 i(0≤i≤(n-1))개의 블러링(Blurring) 대상 객체를 결정하는 블러링 대상 결정부와, 상기 시선 집중 객체와 i개의 블러링 대상 객체 간 깊이 차이에 비례하여 상기 i개의 블러링 대상 객체를 블러링하는 블러링 처리부를 구비할 수 있다.
본 발명에 따르면, 영상 데이터에 포함된 복수의 객체 중 사용자의 시선이 집중되는 객체를 더욱 선명하게 출력하는 이점이 있다.
본 발명에 따르면, 영상 데이터에 포함된 복수의 객체 중 사용자의 시선이 집중되는 객체와 연관된 사운드를 보다 명확하게 출력하는 이점이 있다.
본 발명에 따르면, 영상 데이터에 포함된 복수의 객체 중 사용자의 시선이 집중되는 객체와 연관된 결말이 출력되도록 하는 이점이 있다.
도 1은 본 발명의 실시 방법에 따른 영상 출력 시스템 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시 방법에 따른 영상 데이터의 오토포커싱/블러링 과정을 도시한 도면이다.
도 3은 본 발명의 일 실시 방법에 따른 영상 데이터의 사운드 조정 과정을 도시한 도면이다.
도 4는 본 발명의 일 실시 방법에 따른 영상 데이터의 스토리 분기 과정을 도시한 도면이다.
도 5는 본 발명의 실시 방법에 따른 영상 출력 장치 구성을 도시한 도면이다.
도 6은 본 발명의 다른 일 실시 방법에 따른 영상 데이터의 오토포커싱/블러링 과정을 도시한 도면이다.
도 7은 본 발명의 다른 일 실시 방법에 따른 영상 데이터의 사운드 조정 과정을 도시한 도면이다.
도 8은 본 발명의 다른 일 실시 방법에 따른 영상 데이터의 스토리 분기 과정을 도시한 도면이다.
이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. 또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
아울러 하기에 도시되는 실시예에서 본 발명의 기술적 특징을 보다 명확하게 설명하기 위해 개수를 N, n, M, i, j 등의 식별부호로 표시하거나, 각 용어의 서두에 "제m"와 같은 형태의 식별부호를 첨부하여 설명할 것이나, 상기 식별부호는 각 용어를 식별하기 위한 것일 뿐 상기 식별부호에 의해 각 용어가 다른 기능과 역할을 수행하는 것으로 구별 또는 한정되는 것은 결코 아님을 명백하게 밝혀두는 바이다.
결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
도면1은 본 발명의 실시 방법에 따른 영상 데이터 출력 시스템 구성을 도시한 도면이다.
보다 상세하게 본 도면1은 사용자의 시선을 추적하여 영상 데이터의 각 장면에 포함된 n(n≥1)개의 객체 중 사용자의 시선이 집중되는 시선 집중 객체를 오토포커싱(Autofocussing)하되, 상기 사용자의 시선 방향에 대한 깊이 차이에 따라 상기 (n-1)개의 객체 중 i(0≤i≤(n-1))개의 객체를 상기 시선 집중 객체와의 깊이(Depth) 차이에 따라 블러링(Blurring)하는 시스템 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 영상 데이터 출력 시스템 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
예컨대, 본 도면1에서 상기 영상 데이터 출력 시스템을 구성하는 각각의 수단들은 어느 하나의 서버에 구비되는 서버 구성요소 형태로 구현되거나, 또는 각 수단이 별도의 서버 형태로 구현되거나, 또는 두개 이상의 수단이 조합되어 서버 형태로 구현되거나, 또는 일부 수단은 서버 형태로 구현되고 나머지 수단은 서버의 구성요소 형태로 구현되거나, 또는 일수 수단은 서버 형태(또는 서버의 구성요소 형태)로 구현되고 나머지 수단은 영상 출력 장치(170)에 구현되는 것이 모두 가능하며, 상기 수단들의 구현 방식에 의해 본 발명이 한정되지 아니함을 명백하게 밝혀두는 바이다.
본 발명에 따르면, 상기 영상 데이터 출력 시스템은, 영상 데이터의 비디오 데이터와 오디오 데이터를 출력하는 영상 출력 장치(170)와, 상기 영상 출력 장치(170)를 통해 출력할 영상 데이터를 저장하고, 상기 영상 데이터를 상기 영상 출력 장치(170)로 전달하여 출력시키는 영상매체 운영수단(100)을 구비하며, 본 발명의 실시 방법에 따라 상기 영상매체 운영수단(100) 측에 상기 본 발명에 따른 수단들이 구비되거나, 또는 상기 본 발명에 따른 수단 중 일부는 상기 영상매체 운영수단(100) 측에 구비되고 나머지 일부는 영상 출력 장치(170) 측에 구비되는 형태로 상기 영상 데이터 출력 시스템을 구현한다. 본 도면1은 편의상 상기 본 발명에 따른 수단들이 상기 영상매체 운영수단(100) 측에 구비되는 것으로 도시하여 본 발명의 특징을 설명하기로 한다.
상기 영상매체 운영수단(100)은 상기 영상 출력 장치(170)로 출력할 비디오 데이터와 오디오 데이터를 포함하는 영상 데이터를 저장하는 저장매체(105)와, 상기 영상 데이터를 상기 영상 출력 장치(170)로 전달하는 전달매체(110)를 포함하며, 상기 영상 데이터는 상기 저장매체(105)에 저장되고 상기 전달매체(110)를 통해 전달 가능한 영상 데이터 구조를 포함한다.
본 발명에 따르면, 상기 영상 데이터는, 카메라를 통해 촬영된 실사 영상에 포함된 실사 객체의 식별이 가능한 실사 영상 데이터를 포함할 수 있다. 여기서, 상기 실사 영상 데이터는 카메라를 통해 피사체를 촬영하고 필요에 따라 일련의 편집 과정을 거친 모든 영상 데이터를 포함한다.
또는, 상기 영상 데이터는, 텍스쳐가 매핑/렌더링된 폴리곤으로 구성된 가상 영상에 포함된 폴리곤에 대응하는 가상 객체의 식별이 가능한 가상 영상 데이터를 포함할 수 있다. 여기서, 상기 가상 영상 데이터는 드로잉 도구를 통해 폴리곤 데이터를 작성하고, 이미지 편집 도구를 통해 텍스쳐 데이터를 작성한 후, 상기 폴리곤 데이터에 텍스처 데이터를 매핑/렌더링하여 구성된 모든 영상 데이터를 포함한다.
또는, 상기 영상 데이터는, 상기 실사 영상과 가상 영상이 결합된 영상에 포함된 실사 객체와 가상 객체 중 적어도 하나의 객체 식별이 가능한 실사/가상 영상 데이터를 포함할 수 있다. 여기서, 상기 실사/가상 영상 데이터는 상기 카메라를 통해 촬영/편집된 실사 영상 데이터와 상기 텍스쳐가 매핑/렌더링된 폴리곤으로 구성된 영상 데이터를 결합하여 생성된 모든 영상 데이터를 포함한다. 예를들어, 상기 실사/가상 영상 데이터는 블루스크린 앞에서 실사 영상 데이터를 촬영하고, 상기 실사 영상 데이터에 가상 영상 데이터를 결합한 영상 데이터를 포함할 수 있다.
또는, 상기 영상 데이터는, 양안시차에 의한 입체감을 표시하는 3D 카메라를 통해 촬영된 실사 입체 영상에 포함된 실사 입체감 객체의 식별이 가능한 실사 입체 영상 데이터를 포함할 수 있다. 여기서, 상기 실사 입체 영상 데이터는 2개의 렌즈를 구비한 3D 카메라를 통해 동일한 피사체를 촬영한 후 상기 2개의 렌즈로 촬영한 각각의 실사 영상 데이터를 조합하여 필요에 따라 편집하여 양안시차에 의한 입체감이 표시되도록 구성된 모든 영상 데이터를 포함한다.
또는, 상기 영상 데이터는, 상기 양안시차에 의한 입체감이 표시되도록 구성된 폴리곤에 텍스쳐를 매핑/렌더링하여 구성된 가상 입체 영상에 포함된 가상 입체감 객체의 식별이 가능한 가상 입체 영상 데이터를 포함할 수 있다. 여기서, 상기 가상 입체 영상 데이터는 드로잉 도구를 통해 폴리곤 데이터를 작성하되 상기 3D 카메라의 2개의 렌즈를 통해 피사체를 촬영한 것처럼 어느 하나의 폴리곤 데이터에 양안시차가 발생하도록 시점 변화를 적용하고, 각 폴리곤 데이터에 상기 시점 변화를 적용한 텍스쳐 데이터를 매핑/렌더링하여 구성된 모든 영상 데이터를 포함한다.
또는, 상기 영상 데이터는, 상기 실사 입체 영상과 가상 입체 영상이 결합된 입체 영상에 포함된 실사 입체감 객체와 가상 입체감 객체 중 적어도 하나의 입체감 객체의 식별이 가능한 실사/가상 입체 영상 데이터를 포함할 수 있다. 여기서, 상기 실사/가상 입체 영상 데이터는 3D 카메라를 통해 양안시차가 발생하도록 촬영/편집된 실사 입체 영상 데이터와 상기 양안시차가 발생하도록 구성된 가상 입체 영상 데이터를 결합하여 생성된 모든 영상 데이터를 포함한다. 예를들어, 상기 실사/가상 입체 영상 데이터는 블루스크린 앞에서 실사 입체 영상 데이터를 촬영하고, 상기 실사 입체 영상 데이터에 가상 입체 영상 데이터를 결합한 영상 데이터를 포함할 수 있다.
본 발명의 일 실시 방법에 따르면, 상기 영상 데이터는 방송 데이터를 포함할 수 있다. 이 경우 상기 영상 출력 장치(170)는 디스플레이장치와 셋탑박스를 포함하고, 상기 영상매체 운영수단(100)은 상기 방송 데이터를 저장하는 저장매체(105)를 구비하고 상기 방송 데이터를 상기 셋탑박스로 전달하는 전달매체(110)를 구비한 방송 시스템을 포함할 수 있다.
상기 영상 데이터가 상기 방송 데이터를 포함하는 경우, 상기 저장매체(105)는 상기 방송 시스템에 구비된 카메라장치 또는 영상저장매체(105)를 포함하고, 상기 전달매체(110)는 상기 방송 시스템과 셋탑박스를 연결하는 무선 주파수 방송매체(110), 또는 유선(또는 케이블) 방송매체(110), 또는 유선(또는 케이블) 영상신호 전송매체(110) 중 적어도 하나의 매체를 포함할 수 있다.
또는, 상기 영상 데이터는 주문형 비디오를 포함할 수 있다. 이 경우 상기 영상 출력 장치(170)는 디스플레이장치와 셋탑박스를 적어도 하나 포함하고, 상기 영상매체 운영수단(100)은 상기 주문형 비디오를 저장하는 저장매체(105)를 구비하고 상기 주문형 비디오를 상기 셋탑박스로 전달하는 전달매체(110)를 구비한 주문형 비디오 시스템을 포함할 수 있다.
상기 영상 데이터가 상기 주문형 비디오를 포함하는 경우, 상기 저장매체(105)는 상기 주문형 비디오 시스템에 구비된 영상저장매체(105)를 포함하고, 상기 전달매체(110)는 상기 주문형 비디오 시스템과 셋탑박스를 연결하는 무선 주파수 통신매체(110), 또는 유선(또는 케이블) 통신매체(110), 또는 유선(또는 케이블) 영상신호 전송매체(110) 중 적어도 하나의 매체를 포함할 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 영상 데이터는 영화관에서 상영하는 영화 데이터를 포함할 수 있다. 이 경우 상기 영상 출력 장치(170)는 영화관에 입장한 관객이 착용하는 고글을 포함하고, 상기 영상매체 운영수단(100)은 상기 영화 데이터를 저장하는 저장매체(105)를 구비하고 상기 영화 데이터의 비디오 데이터를 스크린에 출력함과 동시에 스피커를 통해 상기 영화 데이터의 오디오 데이터를 출력하는 영화 상영 시스템을 포함할 수 있다. 상기 영상 데이터가 영화 데이터를 포함하는 경우, 상기 영화 상영 시스템은 상기 스크린을 통해 기 설정된 기본 값으로 포커싱(또는 블러링)된 영화 데이터를 출력하고, 상기 고글은 상기 스크린에 표시되는 영화 데이터와 사용자의 시선을 일치 시켜 상기 스크린에 출력되는 영화 데이터를 사용자의 시선에 따라 오토포커싱(또는 블러링)하는 증강현실 장치를 포함할 수 있다.
상기 영상 데이터가 상기 영화 데이터를 포함하는 경우, 상기 저장매체(105)는 상기 영화 상영 시스템에 구비된 영상저장매체(105)를 포함하고, 상기 전달매체(110)는 상기 영화 데이터를 스크린에 출력하는 영사장치와 상기 사용자의 고글과 유선/무선으로 통신하는 통신매체(110)를 포함할 수 있다.
본 발명의 또다른 일 실시 방법에 따르면, 상기 영상 데이터는 통신망을 통해 다수의 사용자가 참여하는 게임 데이터를 포함할 수 있다. 이 경우 상기 영상 출력 장치(170)는 디스플레이장치와 게임장치를 포함하고, 상기 영상매체 운영수단(100)은 상기 게임 데이터를 저장하는 저장매체(105)를 구비하고 상기 게임 데이터를 상기 게임장치로 전달하는 전달매체(110)를 구비한 게임 시스템을 포함할 수 있다.
상기 영상 데이터가 상기 게임 데이터를 포함하는 경우, 상기 저장매체(105)는 상기 게임 시스템에 구비된 게임 저장매체(105) 또는 상기 게임장치에 구비된 저장매체(105) 중 적어도 하나를 포함하고, 상기 전달매체(110)는 상기 게임 시스템과 게임장치를 유선/무선으로 통신하는 통신매체(110)를 포함할 수 있다.
본 발명에 따르면, 상기 영상 출력 장치(170)는 사용자의 시선을 추적하는 시선 추적 센서(165)를 구비하며, 상기 시선 추적 센서(165)는 상기 영상 데이터 출력 시스템과 통신 연결되거나, 또는 상기 영상 추적 장치를 경유하여 상기 영상 데이터 출력 시스템과 통신 연결될 수 있다. 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 상기 시선 추적 센서(165)가 사용자의 시선을 추적하는 기술 구성을 기 숙지하고 있을 것이므로, 이에 대한 상세한 설명은 생략하기로 한다.
도면1을 참조하면, 상기 영상 데이터 출력 시스템은, 상기 영상 데이터의 비디오 데이터를 기반으로 상기 영상 데이터의 각 장면을 식별하는 장면 식별 정보와 상기 영상 데이터에 포함된 N(N>1)개의 객체 중 상기 장면 식별 정보에 대응하는 각 장면 별 n(1≤n≤N)개의 객체 정보 및 각 장면 별 n개의 객체에 대한 사용자 시선 방향의 깊이(Depth)에 대응하는 객체 깊이 값을 결정하는 정보 결정수단(120)을 구비하며, 상기 영상매체 운영수단(100)은 상기 결정된 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 객체 깊이 값을 상기 영상 데이터와 연결하여 영상매체에 저장(또는 전달)한다.
상기 정보 결정수단(120)은 상기 영상매체 운영수단(100)의 저장매체(105)에 저장된 영상 데이터의 비디오 데이터를 판독하거나 또는 상기 영상 데이터의 비디오 데이터를 관리자 단말(도시생략)로 제공한 후 상기 관리자 단말로부터 입력되는 적어도 하나의 입력 값을 이용하여 상기 영상 데이터의 각 장면을 식별하는 장면 식별 정보를 결정한다.
여기서, 상기 장면 식별 정보는, 상기 영상 데이터의 재생 시간 정보, 비디오 프레임 구간 정보, 장면 정보를 포함하며, 상기 영상 데이터가 게임 데이터인 경우 맵(map) 위치 정보를 포함할 수 있다.
상기 장면 식별 정보가 결정되면, 상기 정보 결정수단(120)은 상기 영상매체 운영수단(100)의 저장매체(105)에 저장된 영상 데이터의 비디오 데이터를 판독하거나 또는 상기 영상 데이터의 비디오 데이터를 관리자 단말로 제공한 후 상기 관리자 단말로부터 입력되는 적어도 하나의 입력 값을 이용하여 상기 영상 데이터에 포함된 N(N>1)개의 객체 중 상기 결정된 장면 식별 정보에 대응하는 각 장면에 포함된 n(1≤n≤N)개의 객체를 식별하는 객체 정보를 결정하고, 상기 결정된 n개의 객체에 대하여 사용자의 시선 방향에 대한 각 객체의 깊이에 대응하는 객체 깊이 값을 결정한다.
여기서, 상기 객체 정보는 상기 영상 출력 장치(170)를 통해 출력되는 영상 데이터에 포함된 비디오 데이터에 대응하는 각 장면에 포함된 n개의 객체 중 오토포커싱 또는 블러링이 가능한 객체를 식별하는 정보이다.
본 발명의 일 실시 방법에 따라 상기 영상 데이터 내에 각 장면에 포함된 n개의 객체를 식별하는 태그 정보(또는 메타 정보)가 포함된 경우, 상기 객체 정보는 상기 태그 정보(또는 메타 정보)를 포함할 수 있다. 예를들어, 상기 영상 데이터에 가상 객체(또는 가상 입체감 객체)가 포함되어 있다면, 상기 가상 객체(또는 가상 입체감 객체)는 상기 영상 데이터를 구성하는 과정에서 상기 객체를 식별하는 태그 정보(또는 메타 정보)가 포함될 수 있으며, 상기 객체 정보는 상기 가상 객체(또는 가상 입체감 객체)에 대응하는 태그 정보(또는 메타 정보)를 포함할 수 있다.
본 발명의 다른 일 실시 방법에 따라 상기 영상 데이터에 상기 객체 정보에 대응하는 태그 정보(또는 메타 정보)가 포함되지 않은 경우, 상기 객체 정보는 상기 영상 출력 장치(170)의 디스플레이 화면을 정의하는 x-y 2차원 좌표계 상에 각 객체 영역을 표시하는 좌표 영역 값을 포함할 수 있다. 예를들어, 상기 영상 데이터에 실사 객체(또는 실사 입체감 객체)가 포함되어 있다면, 상기 객체 정보는 상기 디스플레이 상에서 상기 실사 객체(또는 실사 입체감 객체)가 표시되는 2차원 좌표 영역 값을 포함할 수 있다.
상기 객체 깊이 값은 상기 객체 정보에 대응하는 각 객체에 대하여 상기 영상 데이터를 관람하는 사용자의 시선 방향에 대한 깊이를 결정하는 값이다.
본 발명의 일 실시 방법에 따라 상기 영상 데이터 내에 각 장면에 포함된 n개의 객체에 대한 시선 방향 기준 깊이에 대응하는 태그 정보(또는 메타 정보)가 포함된 경우, 상기 객체 깊이 값은 상기 태그 정보(또는 메타 정보)를 포함할 수 있다. 예를들어, 상기 영상 데이터에 가상 객체(또는 가상 입체감 객체)가 포함되어 있다면, 상기 가상 객체(또는 가상 입체감 객체)는 상기 영상 데이터를 구성하는 과정에서 상기 객체 정보에 대한 깊이 값에 대응하는 태그 정보(또는 메타 정보)가 포함될 수 있으며, 상기 객체 깊이 값은 상기 가상 객체(또는 가상 입체감 객체)에 대응하는 태그 정보(또는 메타 정보)를 포함할 수 있다.
본 발명의 다른 일 실시 방법에 따라 상기 영상 데이터에 상기 객체 깊이 값에 태그 정보(또는 메타 정보)가 포함되지 않은 경우, 상기 객체 깊이 값은 상기 영상 출력 장치(170)의 디스플레이 화면을 정의하는 x-y 2차원 좌표계에 상기 사용자 시선 방향에 대응하는 z-축을 부가한 3차원 좌표계 상의 z-축 좌표 값을 포함할 수 있다. 예를들어, 상기 영상 데이터에 실사 객체(또는 실사 입체감 객체)가 포함되어 있다면, 상기 객체 깊이 값은 상기 실사 객체(또는 실사 입체감 객체)를 촬영하는 카메라의 시점을 기준으로 하는 객체들의 전/후 위치 관계, 상기 카메라 촬영 시점의 카메라 초점을 따라 판독되는 상기 카메라와 각 객체 간 거리 관계, 상기 영상 데이터에 포함된 각 객체의 클리핑을 통해 판독되는 객체 간 전/후 위치 관계 중 적어도 하나의 관계를 통해 결정될 수 있다.
상기 영상 데이터의 각 장면을 식별하는 장면 식별 정보와, 상기 영상 데이터에 포함된 N개의 객체 중 상기 장면 식별 정보에 대응하는 각 장면에 포함된 n개의 객체 정보와, 상기 각 장면 별 n개의 객체 깊이 값이 결정되면, 상기 영상매체 운영수단(100)은 상기 결정된 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 상기 영상 데이터와 연결하여 저장매체(105)에 저장한 후, 상기 영상 출력 장치(170)로 상기 영상 데이터를 전달하는 과정에서 상기 영상 데이터에 상기 저장된 각 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 연결하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달하거나, 또는 상기 영상 데이터 출력 시스템에 구비된 적어도 하나의 수단과 연동하여 상기 영상 출력 장치(170)에 구비된 시선 추적 센서(165)를 통해 사용자의 시선이 집중된 시선 집중 객체를 확인한 후 상기 저장된 각 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 통해 상기 각 장면 별 n개의 객체 중 시선 집중 객체를 오토포커싱 하고 나머지 (n-1)개의 객체 중 i개의 객체를 블러링한 영상 데이터를 구성하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달할 수 있다.
또는, 상기 영상매체 운영수단(100)은 상기 영상 출력 장치(170)로 상기 영상 데이터를 전달하는 과정에서 상기 정보 결정수단(120)을 통해 실시간 결정되는 각 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 상기 영상 데이터에 연결하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달하거나, 또는 상기 영상 데이터 출력 시스템에 구비된 적어도 하나의 수단과 연동하여 상기 영상 출력 장치(170)에 구비된 시선 추적 센서(165)를 통해 사용자의 시선이 집중된 시선 집중 객체를 확인한 후 상기 저장된 각 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 통해 상기 각 장면 별 n개의 객체 중 시선 집중 객체를 오토포커싱 하고 나머지 (n-1)개의 객체 중 i개의 객체를 블러링한 영상 데이터를 구성하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달할 수 있다.
본 발명으로 확장되는 일 실시 방법에 따르면, 상기 정보 결정수단(120)은 상기 각 장면 별 n개의 객체 중 상기 영상 데이터의 오디오 데이터를 기반으로 각 장면 별 사운드와 연관된 n’(0≤n’≤n)개의 사운드 객체 정보와 상기 n’개의 사운드 객체 별 사운드 데이터를 결정하고, 상기 영상매체 운영수단(100)은 상기 n’개의 사운드 객체 정보와 각 사운드 객체 별 사운드 데이터를 상기 영상 데이터와 연결하여 상기 영상매체에 유지시킬 수 있다.
상기 영상 데이터의 비디오 데이터를 기반으로 결정되는 각 장면 별 n개의 객체 중 적어도 하나의 객체는 상기 영상 데이터의 오디오 데이터에 대응하는 사운드 데이터의 원천(Source)에 대응하는 사운드 객체일 수 있다. 예를들어, 상기 영상 데이터에 한 명의 남성 캐릭터와 한 명의 여성 캐릭터 및 테이블과 쇼파를 포함하는 4개의 객체가 포함된 경우, 상기 테이블과 쇼파는 상기 영상 데이터의 오디와 데이터와 연관되지 않지만, 상기 남성 캐릭터와 여성 캐릭터에 대응하는 객체는 상기 영상 데이터의 오디오 데이터에 포함된 음성 데이터(=사운드 데이터)을 발성하는 원천으로 연관될 수 있다.
상기 정보 결정수단(120)은 상기 영상매체 운영수단(100)의 저장매체(105)에 저장된 영상 데이터와 연결된 자막 데이터(도시생략)를 판독하거나 또는 상기 영상 데이터를 관리자 단말(도시생략)로 제공한 후 상기 관리자 단말로부터 입력되는 적어도 하나의 객체-사운드 연결 값을 이용하여 상기 영상 데이터의 비디오 데이터를 기반으로 결정된 각 장면 별 n개의 객체 중 상기 영상 데이터의 오디오 데이터를 대한 각 장면 별 사운드 데이터의 원천에 대응하는 n’(0≤n’≤n)개의 사운드 객체를 결정하고, 상기 결정된 사운드 객체를 식별하는 사운드 객체 정보와 상기 n’개의 사운드 객체가 원천인 n’개의 사운드 객체 별 사운드 데이터를 더 결정할 수 있다.
상기 정보 결정수단(120)에 의해 n’개의 사운드 객체 정보와 n’개의 사운드 객체 별 사운드 데이터가 결정되면, 상기 영상매체 운영수단(100)은 상기 n’개의 사운드 객체 정보와 각 사운드 객체 별 사운드 데이터를 상기 영상 데이터와 연결하여 저장매체(105)에 저장한 후, 상기 영상 출력 장치(170)로 상기 영상 데이터를 전달하는 과정에서 상기 영상 데이터에 상기 저장된 n’개의 사운드 객체 정보와 각 사운드 객체 별 사운드 데이터를 더 연결하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달하거나, 또는 상기 영상 데이터 출력 시스템에 구비된 적어도 하나의 수단과 연동하여 사용자의 시선이 집중된 사운드 객체를 확인한 후 상기 시선 집중 사운드 객체의 사운드 데이터를 증폭시키거나 또는 음성의 분별력을 향상시키고 나머지 (n-1)개의 객체 중 j(0≤j≤(n-1))개의 사운드 객체의 사운드 데이터를 감소시키거나 또는 음성의 분별력을 감소시킨 영상 데이터를 구성하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달할 수 있다.
또는, 상기 영상매체 운영수단(100)은 상기 영상 출력 장치(170)로 상기 영상 데이터를 전달하는 과정에서 상기 정보 결정수단(120)을 통해 실시간 결정되는 상기 n’개의 사운드 객체 정보와 각 사운드 객체 별 사운드 데이터를 상기 영상 데이터에 더 연결하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달하거나, 또는 상기 영상 데이터 출력 시스템에 구비된 적어도 하나의 수단과 연동하여 사용자의 시선이 집중된 사운드 객체를 확인한 후 상기 시선 집중 사운드 객체의 사운드 데이터를 증폭시키거나 또는 음성의 분별력을 향상시키고 나머지 (n-1)개의 객체 중 j개의 사운드 객체의 사운드 데이터를 감소시키거나 또는 음성의 분별력을 감소시킨 영상 데이터를 구성하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달할 수 있다.
본 발명으로 확장되는 다른 일 실시 방법에 따르면, 상기 영상 데이터는 M(M>1)개의 서로 다른 결말을 포함하여 구성될 수 있으며, 이 경우 상기 정보 결정수단(120)은 상기 각 장면 별 n개의 객체 중 상기 M개의 다른 결말과 연관된 n”(0≤n’≤n)개의 스토리 분기 객체 정보를 더 결정하고, 상기 영상매체 운영수단(100)은 상기 n”개의 스토리 분기 객체 정보를 상기 영상 데이터와 연결하여 상기 영상매체에 유지시킬 수 있다.
본 발명에 따르면, 상기 영상 데이터는 어느 하나의 결말로 귀결되는 영상 데이터가 아니라 복수의 결말을 귀결되거나, 또는 아예 확정된 결말 자체가 존재하지 않는 영상 데이터일 수 있다. 예를들어, 상기 영상 데이터는 10개의 서로 다른 결말을 지닌 영화 데이터 또는 주문형 비디오거나, 또는 아예 확정된 결말이 존재하지 않는 게임 데이터일 수 있다.
상기와 같이 영상 데이터가 복수의 결말로 귀결되거나 또는 아예 확정된 결말 자체가 존재하지 않아 M개의 서로 다른 결말을 지닐 수 있는 영상 데이터인 경우, 상기 정보 결정수단(120)은 상기 영상매체 운영수단(100)의 저장매체(105)에 저장된 영상 데이터와 연결된 스토리 데이터(도시생략) 또는 자막 데이터(도시생략)를 판독하거나 또는 상기 영상 데이터를 관리자 단말(도시생략)로 제공한 후 상기 관리자 단말로부터 입력되는 적어도 하나의 객체-스토리 연결 값을 이용하여 상기 영상 데이터의 비디오 데이터를 기반으로 결정된 각 장면 별 n개의 객체 중 상기 M개의 다른 결말과 연관된 n”(0≤n’≤n)개의 스토리 분기 객체를 더 결정할 수 있다.
상기 정보 결정수단(120)에 의해 n”개의 스토리 분기 객체 정보가 결정되면, 상기 영상매체 운영수단(100)은 상기 n”개의 스토리 분기 객체 정보를 상기 영상 데이터와 연결하여 저장매체(105)에 저장한 후, 상기 영상 출력 장치(170)로 상기 영상 데이터를 전달하는 과정에서 상기 영상 데이터에 상기 저장된 n”개의 스토리 분기 객체 정보를 더 연결하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달하거나, 또는 상기 영상 데이터 출력 시스템에 구비된 적어도 하나의 수단과 연동하여 사용자의 시선이 집중된 스토리 분기 객체를 확인한 후 상기 M개의 결말 중 상기 시선 집중 스토리 분기 객체와 연관된 어느 하나의 제m(1≤m≤M) 결말로 상기 영상 데이터의 스토리를 분기한 영상 데이터를 구성하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달할 수 있다.
또는, 상기 영상매체 운영수단(100)은 상기 영상 출력 장치(170)로 상기 영상 데이터를 전달하는 과정에서 상기 정보 결정수단(120)을 통해 실시간 결정되는 상기 n”개의 스토리 분기 객체 정보를 상기 영상 데이터에 더 연결하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달하거나, 또는 상기 영상 데이터 출력 시스템에 구비된 적어도 하나의 수단과 연동하여 사용자의 시선이 집중된 스토리 분기 객체를 확인한 후 상기 M개의 결말 중 상기 시선 집중 스토리 분기 객체와 연관된 어느 하나의 제m 결말로 상기 영상 데이터의 스토리를 분기한 영상 데이터를 구성하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달할 수 있다.
도면1을 참조하면, 상기 영상 데이터 출력 시스템은, 상기 영상 출력 장치(170)를 통해 상기 영상 데이터 출력 시, 상기 장면 식별 정보를 통해 상기 출력되는 영상 데이터의 장면을 식별하고, 상기 장면에 포함된 n개의 객체를 식별하는 객체 식별수단(125)과, 상기 시선 추적 센서(165)를 통해 사용자의 시선을 추적하여 상기 n개의 객체 중 상기 사용자의 시선이 집중되는 어느 하나의 시선 집중 객체를 검출하는 시선 집중 객체 검출수단(115)과, 상기 검출된 시선 집중 객체를 오토포커싱(Autofocussing)하는 오토포커싱 처리수단(130)과, 상기 장면에 포함된 시선 집중 객체와 (n-1)개의 객체의 깊이를 비교하여 상기 시선 집중 객체의 깊이를 기준으로 i(0≤i≤(n-1))개의 블러링(Blurring) 대상 객체를 결정하는 블러링 대상 결정수단(135)과, 상기 시선 집중 객체와 i개의 블러링 대상 객체 간 깊이 차이에 비례하여 상기 i개의 블러링 대상 객체를 블러링하는 블러링 처리수단(140)을 구비하며, 본 발명의 실시 방법에 따라 상기 객체 식별수단(125), 시선 집중 객체 검출수단(115), 오토포커싱 처리수단(130), 블러링 대상 결정수단(135) 및 블러링 처리수단(140) 중 적어도 하나의 수단은 상기 영상 출력 장치(170)에 구비될 수 있음을 명백하게 밝혀두는 바이다.
본 발명의 일 실시 방법에 따르면, 상기 영상매체 운영수단(100)은 상기 저장매체(105)에 저장된 영상 데이터에 상기 각 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 연결하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달할 수 있으며, 이 경우 상기 객체 식별수단(125), 시선 집중 객체 검출수단(115), 오토포커싱 처리수단(130), 블러링 대상 결정수단(135) 및 블러링 처리수단(140)은 상기 영상 출력 장치(170)에 구비된다.
본 발명의 다른 일 실시 방법에 따라 상기 영상 데이터 출력 시스템에서 상기 영상 출력 장치(170)에 구비된 시선 추적 센서(165)를 통해 사용자의 시선이 집중된 시선 집중 객체를 확인한 후 상기 저장된 각 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 통해 상기 각 장면 별 n개의 객체 중 시선 집중 객체를 오토포커싱 하고 나머지 (n-1)개의 객체 중 i개의 객체를 블러링한 영상 데이터를 구성하여 상기 영상 출력 장치(170)로 전달하는 경우, 상기 객체 식별수단(125)은 상기 저장매체(105)에 저장된 장면 식별 정보를 통해 상기 영상매체 운영수단(100)이 상기 영상 출력 장치(170)로 전달하는 영상 데이터에 대한 장면을 식별하고, 상기 장면 식별 정보와 연결된 n개의 객체 정보를 통해 상기 장면에 포함된 n개의 객체를 식별한다.
상기 시선 집중 객체 검출수단(115)은 상기 영상 출력 장치(170)에 구비된 시선 추적 센서(165)와 통신 연결하거나, 또는 상기 영상 출력 장치(170)를 통해 상기 시선 추적 센서(165)와 통신 연결한 후, 상기 시선 추적 센서(165)를 통해 상기 영상 데이터를 관람하는 사용자의 시선을 추적하여 상기 영상 데이터 중 상기 영상 데이터의 화면 영역 중 상기 사용자의 시선이 집중되는 시선 집중 점(또는 영역)을 검출하고, 상기 시선 집중 점(또는 영역)과 상기 영상 출력 장치(170)로 전달되는 영상 데이터의 장면으로부터 식별된 n개의 객체 위치를 비교하여 상기 객체 식별수단(125)에 의해 식별된 n개의 객체 중 상기 사용자의 시선이 집중되는 어느 하나의 시선 집중 객체를 검출한다.
상기 영상 데이터의 장면에 포함된 n개의 객체 중 사용자의 시선이 집중된 시선 집중 객체가 검출되면, 상기 오토포커싱 처리수단(130)은 상기 검출된 시선 집중 객체를 오토포커싱 처리한다.
여기서, 오토포커싱 처리는 상기 장면에 포함된 n개의 객체 중 상기 시선 집중 객체의 선명도를 선택하여 집중적으로 상기 원래 영상 데이터에 포함된 상기 객체의 기본 선명도보다 집중적으로 향상시키는 영상 처리 기법으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 상기 오토포커싱 처리 구성에 대한 기술적 특징을 숙지하고 있을 것이므로, 상기 오토포커싱에 대응하는 영상 처리 기법에 대한 상세한 설명은 편의상 생략하기로 한다.
예를들어, 상기 검출된 시선 집중 객체의 원래 기본 선명도가 상기 영상 데이터의 원근감 표시 방법(또는 카메라 촬영 시점의 초점 거리)에 따라 블러링되어 있더라도, 상기 오토포커싱 처리수단(130)은 상기 시선 집중 객체의 선명도를 상기 영상 데이터의 원근감 표시(또는 카메라 초점 거리)와 무관하게 상기 기본 선명도보다 집중적으로 향상시킨다.
또한, 상기 시선 집중 객체가 검출되는 경우, 상기 블러링 대상 결정수단(135)은 상기 영상 데이터의 장면에 포함된 n개의 객체 중 상기 시선 집중 객체를 제외한 나머지 (n-1)개의 객체를 확인하고, 상기 n개의 객체 정보와 연결된 n개의 객체 깊이 값을 비교하고, 상기 시선 집중 객체의 깊이를 기준으로 상기 (n-1)개의 객체 중 선명도를 감소시킬 i(0≤i≤(n-1))개의 블러링 대상 객체 또는 상기 영상 데이터의 기본 선명도를 그대로 유지한 ((n-1)-i)개의 포커스 유지 대상 객체를 결정한다.
예를들어, 상기 블러링 대상 결정수단(135)은 상기 (n-1)개의 객체 중 상기 시선 집중 객체의 깊이보다 더 깊은 깊이의 객체를 상기 i개의 블러링 대상 객체에 포함시킬 수 있다. 또는 상기 블러링 대상 결정수단(135)은 상기 (n-1)개의 객체 중 사용자의 시선을 기준으로 디스플레이 화면의 2차 평면 상에서 상기 시선 집중 객체 근처에 위치하는 객체를 상기 i개의 블러링 대상 객체에 포함시킬 수 있다.
또는, 상기 블러링 대상 결정수단(135)은 상기 (n-1)개의 객체 중 상기 시선 집중 객체의 깊이보다 얕은 깊이의 객체를 상기 ((n-1)-i)개의 포커스 유지 대상 객체에 포함시킬 수 있다. 또는 상기 블러링 대상 결정수단(135)은 상기 (n-1)개의 객체 중 사용자의 시선을 기준으로 디스플레이 화면의 2차 평면 상에서 상기 시선 집중 객체로부터 일정 거리 이상 떨어져 있는 객체를 상기 ((n-1)-i)개의 포커스 유지 대상 객체에 포함시킬 수 있다.
만약 상기 블러링 대상 결정수단(135)에 의해 i개의 블러링 대상 객체(또는 ((n-1)-i)개의 포커스 유지 대상 객체)가 결정되면, 상기 블러링 처리수단(140)은 상기 시선 집중 객체와 i개의 블러링 대상 객체 간 깊이 차이에 비례하여 상기 i개의 블러링 대상 객체의 선명도를 상기 오토포커싱된 시선 집중 객체의 선명도(또는 상기 i개의 블러링 대상 객체의 기본 선명도)보다 감소시키되, ((n-1)-i)개의 포커스 유지 대상 객체의 선명도는 그대로 유지시킨다.
본 발명의 실시 방법에 따르면, 상기 i개의 블러링 대상 객체를 블러링하는 경우, 상기 블러링 처리수단(140)은 상기 시선 집중 객체와 i개의 블러링 대상 객체 간 깊이 차이에 비례하여 블러링하는 크기를 결정할 수 있다. 여기서, 상기 블러링 크기는 상기 시선 집중 객체와 i개의 블러링 대상 객체 간 깊이 차이에 선형 비례하거나, 또는 로그함수 비례 관계를 포함할 수 있다.
상기 오토포커싱 처리수단(130)에 의해 상기 영상 데이터에 포함된 장면의 시선 집중 객체가 오토포커싱되면, 상기 영상매체 운영수단(100)은 상기 시선 집중 객체가 오토포커싱된 영상 데이터를 구성하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달한다.
또는, 상기 오토포커싱 처리수단(130)에 의해 상기 영상 데이터에 포함된 장면의 시선 집중 객체가 오토포커싱되고, 상기 블러링 처리수단(140)에 의해 상기 장면에 포함된 n개의 객체 중 i개의 블러링 대상 객체가 블러링되면, 상기 영상매체 운영수단(100)은 상기 시선 집중 객체가 오토포커싱되고 i개의 블러링 대상 객체가 블러링된 영상 데이터를 구성하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달한다.
본 발명으로 확장되는 일 실시 방법에 따라 상기 영상매체에 n’개의 사운드 객체 정보와 n’개의 사운드 객체 별 사운드 데이터가 유지되는 경우, 상기 영상 데이터 출력 시스템은, 상기 시선 집중 객체 검출수단(115)을 통해 시선 집중 객체가 검출되면, 상기 시선 집중 객체가 상기 사운드 객체에 상응하는지 확인하는 사운드 객체 확인수단(145)과, 시선 집중 사운드 객체가 확인되면, 상기 시선 집중 사운드 객체의 사운드 데이터를 증폭시키거나 또는 음성의 분별력을 향상시키는 사운드 조정수단(150)을 더 구비할 수 있으며, 본 발명의 실시 방법에 따라 상기 사운드 객체 확인수단(145)과 사운드 조정수단(150) 중 적어도 하나의 수단은 상기 영상 출력 장치(170)에 구비될 수 있음을 명백하게 밝혀두는 바이다.
상기 정보 결정수단(120)에 의해 n’개의 사운드 객체 정보와 n’개의 사운드 객체 별 사운드 데이터가 결정되고, 상기 영상매체 운영수단(100)이 상기 영상 출력 장치(170)로 상기 영상 데이터를 전달하는 경우, 상기 시선 집중 객체 검출수단(115)을 통해 시선 집중 객체가 검출되면, 상기 사운드 객체 확인수단(145)은 상기 저장매체(105)로부터 상기 시선 집중 객체에 대응하는 객체 정보를 확인하고, 상기 시선 집중 객체 정보가 상기 저장매체(105)에 저장된 사운드 객체 정보와 동일한 객체를 식별하는지 확인한다.
만약 상기 시선 집중 객체가 사운드 객체로 확인되면, 상기 사운드 조정수단(150)은 상기 저장매체(105)로부터 상기 시선 집중 사운드 객체와 연관된 사운드 데이터를 확인하고, 상기 확인된 시선 집중 객체와 연관된 사운드 데이터의 음향을 증폭시켜 상기 영상 데이터의 오디오 데이터에 포함시키거나, 또는 상기 사운드 객체와 연관된 사운드 데이터가 음성 데이터인 경우 상기 음성 데이터의 음성 분별력을 향상시켜 상기 영상 데이터의 오디오 데이터에 포함시킬 수 있으며, 상기 영상매체 운영수단(100)은 상기 시선 집중 사운드 객체의 사운드 데이터가 증폭되거나 또는 음성 분별력이 향상된 오디오 데이터를 포함하는 영상 데이터를 구성하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달한다.
또한, 상기 사운드 조정수단(150)은 상기 장면에 포함된 (n-1)개의 객체 중 상기 사운드 데이터와 연관되지만 상기 사용자의 시선이 집중되지 않은 j(0≤j≤(n-1))개의 사운드 객체를 결정하고, 상기 시선 집중 사운드 객체와 상기 j개의 사운드 객체 간 깊이 차이에 비례하여 상기 j개의 사운드 객체에 대한 사운드 데이터의 음향을 감소시키거나 또는 음성의 분별력을 감소시켜 상기 영상 데이터의 오디오 데이터에 포함시킬 수 있으며, 상기 영상매체 운영수단(100)은 상기 j개의 일반 사운드 객체의 사운드 데이터가 감소되거나 또는 음성 분별력이 감소된 오디오 데이터를 포함하는 영상 데이터를 구성하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달한다.
여기서, 상기 시선 집중 사운드 객체와 j개의 일반 사운드 객체 간 깊이 차이에 비례하여 사운드 데이터의 음향을 증폭/감소하거나 음성 분별력을 향상/감소하는 비례식은 선형 비례, 또는 로그함수 비례 관계를 포함할 수 있다.
본 발명으로 확장되는 일 실시 방법에 따라 상기 영상매체에 n”개의 스토리 분기 객체 정보가 유지되는 경우, 상기 영상 데이터 출력 시스템은, 상기 시선 집중 객체 검출수단(115)을 통해 시선 집중 객체가 검출되면, 상기 시선 집중 객체가 상기 스토리 분기 객체에 상응하는지 확인하는 스토리 분기 객체 확인수단(155)과, 시선 집중 스토리 분기 객체가 확인되면, 상기 영상 데이터의 결말을 상기 M개의 서로 다른 결말 중 상기 시선 집중 스토리 분기 객체와 연관된 제m 결말로 결정하는 스토리 분기수단(160)을 더 구비할 수 있으며, 본 발명의 실시 방법에 따라 상기 스토리 분기 객체 확인수단(155)과 스토리 분기수단(160) 중 적어도 하나의 수단은 상기 영상 출력 장치(170)에 구비될 수 있음을 명백하게 밝혀두는 바이다.
상기 정보 결정수단(120)에 의해 n”개의 스토리 분기 객체 정보가 결정되고, 상기 영상매체 운영수단(100)이 상기 영상 출력 장치(170)로 상기 영상 데이터를 전달하는 경우, 상기 시선 집중 객체 검출수단(115)을 통해 시선 집중 객체가 검출되면, 상기 스토리 분기 객체 확인수단(155)은 상기 저장매체(105)로부터 상기 시선 집중 객체에 대응하는 객체 정보를 확인하고, 상기 시선 집중 객체 정보가 상기 저장매체(105)에 저장된 스토리 분기 객체 정보와 동일한 객체를 식별하는지 확인한다.
만약 상기 시선 집중 객체가 스토리 분기 객체로 확인되면, 상기 스토리 분기수단(160)은 상기 저장매체(105)로부터 상기 영상 데이터의 결말을 상기 M개의 결말 중 시선 집중 스토리 분기 객체와 연관된 제m 결말을 결정하고, 상기 영상매체 운영수단(100)은 상기 제m 결말에 대응하는 영상 데이터를 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달한다.
도면2는 본 발명의 일 실시 방법에 따른 영상 데이터의 오토포커싱/블러링 과정을 도시한 도면이다.
보다 상세하게 본 도면2는 상기 도면1에 도시된 영상 데이터 출력 시스템에서 영상 출력 장치(170)로 전달하는 영상 데이터의 각 장면에 포함된 n개의 객체 중 사용자의 시선이 집중되는 시선 집중 객체를 오토포커싱하고, 상기 사용자의 시선 방향에 대한 깊이 차이에 따라 상기 (n-1)개의 객체 중 i개의 객체를 상기 시선 집중 객체와의 깊이 차이에 따라 블러링하여 상기 영상 출력 장치(170)로 전달하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 오토포커싱/블러링 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
도면2를 참조하면, 상기 정보 결정수단(120)은 영상 데이터의 비디오 데이터를 기반으로 상기 영상 데이터의 각 장면을 식별하는 장면 식별 정보와 상기 영상 데이터에 포함된 N개의 객체 중 상기 장면 식별 정보에 대응하는 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체에 대한 사용자 시선 방향의 깊이에 대응하는 객체 깊이 값을 결정하고(200), 상기 영상매체 운영수단(100)은 상기 결정된 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 상기 영상 데이터와 연결하여 저장한다(205).
만약 상기 영상 데이터를 영상 출력 장치(170)로 전달하여 출력한다면(210), 상기 객체 식별수단(125)은 상기 장면 식별 정보를 통해 상기 영상 출력 장치(170)로 전달되어 출력되는 출력 대상 영상 데이터의 장면을 식별하고, 상기 장면 식별 정보와 연결된 각 장면 별 n개의 객체 정보를 통해 상기 장면에 포함된 n개의 객체를 식별한다(215).
만약 상기 영상 데이터의 장면에 포함된 n개의 객체가 식별되지 않으면(220), 상기 영상매체 운영수단(100)은 상기 영상 출력 장치(170)로 상기 출력 대상 영상 데이터를 전달하여 출력시키며(225), 상기 영상 데이터의 전달이 완료될 때까지 상기 과정을 반복한다(265).
반면 상기 영상 데이터의 장면에 포함된 n개의 객체가 식별되면(220), 상기 시선 집중 객체 검출수단(115)은 상기 영상 출력 장치(170)에 구비된 시선 추적 센서(165)를 통해 상기 영상 데이터를 관람하는 사용자의 시선을 추적하여 상기 장면에 포함된 n개의 객체 중 상기 사용자의 시선이 집중되는 시선 집중 객체를 검출한다(230).
만약 상기 사용자의 시선이 집중되는 시선 집중 객체가 검출되면(235), 상기 오토포커싱 처리수단(130)은 상기 영상 데이터에 포함된 n개의 객체 중 상기 검출된 시선 집중 객체의 선명도를 향상시키는 오토포커싱을 처리한다(240).
또한, 상기 블러링 대상 결정수단(135)은 상기 저장된 각 장면 별 n개의 객체 깊이 값을 비교하여 상기 장면에 포함된 (n-1)개의 객체 중 상기 시선 집중 객체의 깊이를 기준으로 상기 (n-1)개의 객체 중 선명도를 감소시킬 i개의 블러링 대상 객체를 결정한다(245).
만약 상기 i개의 블러링 대상 객체가 결정되지 않으면(250), 상기 영상매체 운영수단(100)은 상기 시선 집중 객체를 기준으로 오토포커싱된 영상 데이터를 상기 영상 출력 장치(170)로 전달하여 출력시키며(260), 상기 영상 데이터의 전달이 완료될 때까지 상기 과정을 반복한다(265).
반면 상기 i개의 블러링 대상 객체가 결정되면(250), 상기 블러링 처리수단(140)은 상기 영상 데이터에 포함된 i개의 블러링 대상 객체를 블러링 처리하고(255), 영상매체 운영수단(100)은 상기 시선 집중 객체를 기준으로 오토포커싱 및 블러링된 영상 데이터를 상기 영상 출력 장치(170)로 전달하여 출력시키며(260), 상기 영상 데이터의 전달이 완료될 때까지 상기 과정을 반복한다(265).
도면3은 본 발명의 일 실시 방법에 따른 영상 데이터의 사운드 조정 과정을 도시한 도면이다.
보다 상세하게 본 도면3은 상기 도면1에 도시된 영상 데이터 출력 시스템에서 영상 출력 장치(170)로 전달하는 영상 데이터의 각 장면에 포함된 n개의 객체 중 사운드와 연관된 n’개의 사운드 객체와 사운드 데이터를 결정한 후, 상기 도면2에 도시된 과정을 통해 검출된 시선 집중 객체가 상기 사운드 객체와 매칭되면, 상기 시선 집중 사운드 객체와 연관된 사운드 데이터를 증폭하거나 또는 음성 분별력을 향상시켜 상기 영상 출력 장치(170)로 전달하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면3을 참조 및/또는 변형하여 상기 사운드 조정 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면3에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
도면3을 참조하면, 상기 정보 결정수단(120)은 영상 데이터의 비디오 데이터를 기반으로 상기 영상 데이터의 각 장면 별 n개의 객체 정보 중 상기 영상 데이터의 오디오 데이터에 포함된 사운드와 연관된 n’개의 사운드 객체와 사운드 데이터를 결정하고(300), 상기 영상매체 운영수단(100)은 상기 결정된 n’개의 사운드 객체 정보와 사운드 데이터를 상기 영상 데이터와 연결하여 저장한다(305).
만약 상기 도면2에 도시된 과정을 통해 시선 집중 객체가 검출되면(310), 상기 사운드 객체 확인수단(145)은 상기 시선 집중 객체가 상기 사운드 객체와 매칭되는지 확인한다(315).
만약 상기 시선 집중 객체가 상기 사운드 객체와 매칭되지 않으면(320), 상기 영상매체 운영수단(100)은 상기 영상 출력 장치(170)로 상기 출력 대상 영상 데이터를 전달하여 출력시키며(325), 상기 영상 데이터의 전달이 완료될 때까지 상기 도면2 및 본 도면3에 도시된 과정을 반복한다(265).
반면 상기 시선 집중 객체가 상기 사운드 객체와 매칭되면(320), 상기 사운드 조정수단(150)은 상기 시선 집중 사운드 객체와 연관된 사운드 데이터의 음향을 증폭하거나 또는 음성 분별력을 향상시킨다(330).
또한, 상기 사운드 조정수단(150)은 상기 (n-1)개의 객체 중 j개의 일반 사운드 객체를 확인한다(335).
만약 상기 j개의 일반 사운드 객체가 확인되지 않으면(340), 상기 영상매체 운영수단(100)은 상기 시선 집중 사운드 객체와 연관된 사운드 데이터의 음향이 증폭되거나 또는 음성 분별력을 향상된 영상 데이터를 상기 영상 출력 장치(170)로 전달하여 출력시키며(350), 상기 영상 데이터의 전달이 완료될 때까지 상기 도면2 및 본 도면3에 도시된 과정을 반복한다(265).
반면 상기 j개의 일반 사운드 객체가 확인되면(340), 상기 사운드 조정수단(150)은 j개의 일반 사운드 객체와 연관된 사운드 데이터의 사운드 데이터의 음향을 감소하거나 또는 음성 분별력을 감소시키고(345), 상기 영상매체 운영수단(100)은 상기 시선 집중 사운드 객체와 연관된 사운드 데이터의 음향이 증폭되거나 또는 음성 분별력을 향상되고, 상기 j개의 일반 사운드 객체와 연관된 사운드 데이터의 음향이 감소되거나 또는 음성 분별력이 감소된 영상 데이터를 상기 영상 출력 장치(170)로 전달하여 출력시키며(350), 상기 영상 데이터의 전달이 완료될 때까지 상기 도면2 및 본 도면3에 도시된 과정을 반복한다(265).
도면4는 본 발명의 일 실시 방법에 따른 영상 데이터의 스토리 분기 과정을 도시한 도면이다.
보다 상세하게 본 도면4는 상기 도면1에 도시된 영상 데이터 출력 시스템에서 영상 출력 장치(170)로 전달하는 영상 데이터의 각 장면에 포함된 n개의 객체 중 M개의 결말과 연관된 n”개의 스토리 분기 객체를 결정한 후, 상기 도면2에 도시된 과정을 통해 검출된 시선 집중 객체가 상기 스토리 분기 객체와 매칭되면, 상기 M개의 결말 중 상기 시선 집중 스토리 분기 객체와 연관된 제m 결말에 대응하는 영상 데이터를 상기 영상 출력 장치(170)로 전달하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면4를 참조 및/또는 변형하여 상기 스토리 분기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면4에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
도면4를 참조하면, 상기 정보 결정수단(120)은 영상 데이터의 비디오 데이터를 기반으로 상기 영상 데이터의 각 장면 별 n개의 객체 정보 중 상기 영상 데이터에 대한 M개의 별말과 연관된 n”개의 스토리 분기 객체를 결정하고(400), 상기 영상매체 운영수단(100)은 상기 결정된 n”개의 스토리 분기 객체 정보를 상기 영상 데이터와 연결하여 저장한다(405).
만약 상기 도면2에 도시된 과정을 통해 시선 집중 객체가 검출되면(410), 상기 스토리 분기 객체 확인수단(155)은 상기 시선 집중 객체가 상기 스토리 분기 객체와 매칭되는지 확인한다(415).
만약 상기 시선 집중 객체가 상기 스토리 분기 객체와 매칭되지 않으면(420), 상기 영상매체 운영수단(100)은 상기 영상 출력 장치(170)로 상기 출력 대상 영상 데이터를 전달하여 출력시키며(425), 상기 영상 데이터의 전달이 완료될 때까지 상기 도면2 및 본 도면4에 도시된 과정을 반복한다(265).
반면 상기 시선 집중 객체가 상기 스토리 분기 객체와 매칭되면(420), 상기 스토리 분기수단(160)은 상기 M개의 결말 중 상기 시선 집중 스토리 분기 객체와 연관된 제m 결말을 확인하고(430), 상기 영상매체 운영수단(100)은 상기 M개의 스토리 분기 영상 데이터 중 상기 제m결말에 대응하는 영상 데이터를 확인한 후(435), 상기 확인된 제m 결말에 대응하는 영상 데이터를 상기 영상 출력 장치(170)로 전달하여 출력시키며(440), 상기 영상 데이터의 전달이 완료될 때까지 상기 도면2 및 본 도면4에 도시된 과정을 반복한다(265).
도면5는 본 발명의 실시 방법에 따른 영상 출력 장치(500) 구성을 도시한 도면이다.
보다 상세하게 본 도면5는 영상매체(530)로부터 전달되는 영상 데이터를 출력하는 영상 출력 장치(500)에서 사용자의 시선을 추적하여 상기 영상 데이터의 각 장면에 포함된 n(n≥1)개의 객체 중 사용자의 시선이 집중되는 시선 집중 객체를 오토포커싱하되, 상기 사용자의 시선 방향에 대한 깊이 차이에 따라 상기 (n-1)개의 객체 중 i(0≤i≤(n-1))개의 객체를 상기 시선 집중 객체와의 깊이 차이에 따라 블러링하는 장치 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면5를 참조 및/또는 변형하여 상기 영상 출력 장치(500) 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면5에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다. 편의상 상기 도면1과 중복되는 구성의 상세 설명을 생략한다.
상기 영상매체(530)는 상기 영상 출력 장치(500)로 출력할 비디오 데이터와 오디오 데이터를 포함하는 영상 데이터를 저장하는 저장매체(예컨대, CD-ROM 저장매체, DVD-ROM 저장매체, 이동식디스크 저장매체, 하드디스크 저장매체 등)와, 상기 영상 데이터를 상기 영상 출력 장치(500)로 전달하는 전달매체(예컨대, CD-ROM 인터페이스, DVD-ROM 인터페이스, 이동식디스크 연결 인터페이스, 통신망 접속 인터페이스 등)를 포함한다.
본 발명에 따르면, 상기 영상 데이터는, 카메라를 통해 촬영된 실사 영상에 포함된 실사 객체의 식별이 가능한 실사 영상 데이터, 텍스쳐가 매핑/렌더링된 폴리곤으로 구성된 가상 영상에 포함된 폴리곤에 대응하는 가상 객체의 식별이 가능한 가상 영상 데이터, 상기 실사 영상과 가상 영상이 결합된 영상에 포함된 실사 객체와 가상 객체 중 적어도 하나의 객체 식별이 가능한 실사/가상 영상 데이터, 양안시차에 의한 입체감을 표시하는 3D 카메라를 통해 촬영된 실사 입체 영상에 포함된 실사 입체감 객체의 식별이 가능한 실사 입체 영상 데이터, 상기 양안시차에 의한 입체감이 표시되도록 구성된 폴리곤에 텍스쳐를 매핑/렌더링하여 구성된 가상 입체 영상에 포함된 가상 입체감 객체의 식별이 가능한 가상 입체 영상 데이터, 및 상기 실사 입체 영상과 가상 입체 영상이 결합된 입체 영상에 포함된 실사 입체감 객체와 가상 입체감 객체 중 적어도 하나의 입체감 객체의 식별이 가능한 실사/가상 입체 영상 데이터를 적어도 하나 포함할 수 있다.
본 발명에 따르면, 상기 영상 출력 장치(500)는 사용자의 시선을 추적하는 시선 추적 센서(525)를 구비하며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 상기 시선 추적 센서(525)가 사용자의 시선을 추적하는 기술 구성을 기 숙지하고 있을 것이므로, 이에 대한 상세한 설명은 생략하기로 한다.
도면5를 참조하면, 상기 영상 출력 장치(500)는, 상기 영상매체(530)로부터 영상 데이터를 인터페이스하여 입력하는 영상매체 인터페이스부(535)와, 디스플레이로 상기 영상 데이터의 비디오 데이터를 출력하는 비디오 출력부(510)와, 스피커로 상기 영상 데이터의 오디오 데이터를 출력하는 오디오 출력부(515)와, 상기 시선 추적 센서(525)를 통해 사용자의 시선을 추적하는 시선 추적부(520) 및 상기 영상매체 인터페이스부(535)를 통해 입력되는 영상 데이터로부터 비디오 데이터를 추출하여 상기 비디오 출력부(510)를 통해 출력하고 상기 영상 데이터로부터 오디오 데이터를 추출하여 상기 오디오 출력부(515)를 통해 출력하는 영상 출력 제어부(505)를 구비하며,
상기 영상매체 인터페이스부(535)는 상기 영상 데이터를 유지하는 영상매체(530)로부터 상기 영상 출력 제어부(505)로 영상 데이터를 입력하는 인터페이스 장치의 총칭이다. 만약 상기 영상매체(530)에 상기 영상 데이터에 대한 각 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값이 유지되고 있는 경우, 상기 영상매체 인터페이스부(535)는 상기 영상 데이터와 상기 각 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 연결하여 상기 영상 출력 제어부(505)로 인터페이스할 수 있다.
본 발명으로 확장되는 일 실시 방법에 따라 상기 영상매체(530)에 n’개의 사운드 객체 정보와 n’개의 사운드 객체 별 사운드 데이터가 유지되는 경우, 상기 영상매체 인터페이스부(535)는 상기 영상 데이터와 상기 n’개의 사운드 객체 정보와 n’개의 사운드 객체 별 사운드 데이터를 더 연결하여 상기 영상 출력 제어부(505)로 인터페이스할 수 있다.
본 발명으로 확장되는 일 실시 방법에 따라 상기 영상매체(530)에 n”개의 스토리 분기 객체 정보가 유지되는 경우, 상기 영상매체 인터페이스부(535)는 상기 영상 데이터와 상기 n”개의 스토리 분기 객체 정보를 더 연결하여 상기 영상 출력 제어부(505)로 인터페이스할 수 있다.
예를들어, 상기 영상매체 인터페이스부(535)는 상기 영상매체(530)가 CD-ROM을 포함하는 경우 CD-ROM 인터페이스 장치를 포함할 수 있고, 상기 영상매체(530)가 DVD-ROM을 포함하는 경우 상기 DVD-ROM 인터페이스 장치를 포함할 수 있고, 상기 영상매체(530)가 이동식디스크를 포함하는 경우 상기 이동식디스크 연결 장치를 포함할 수 있고, 상기 영상매체(530)가 통신망에 구비된 저장매체를 포함하는 경우 통신망 접속 장치를 포함할 수 있다.
상기 영상 출력 제어부(505)는 상기 영상매체 인터페이스부(535)를 통해 인터페이스되는 영상 데이터로부터 비디오 데이터와 오디오 데이터를 추출하여 상기 비디오 출력부(510)와 오디오 출력부(515)를 통해 출력하는 물리적 장치(또는 물리적 장치와 결합된 프로그램 코드)의 총칭으로서, 본 도면5는 편의상 본 발명에 따른 영상 데이터에 포함된 시선 집중 객체의 오토포커싱/블러링을 처리하는 프로그램 코드 형태의 기능 구성부를 본 영상 출력 제어부(505) 내에 도시하여 설명하기로 한다.
도면5를 참조하면, 상기 영상 출력 장치(500)는, 상기 영상매체 인터페이스부(535)를 통해 인터페이스되는 영상 데이터의 비디오 데이터를 기반으로 각 장면을 식별하는 장면 식별 정보와 상기 영상 데이터에 포함된 N(N>1)개의 객체 중 상기 장면 식별 정보에 대응하는 각 장면 별 n(1≤n≤N)개의 객체 정보 및 각 장면 별 n개의 객체에 대한 사용자 시선 방향의 깊이를 표시하는 객체 깊이 값을 확인하는 정보 확인부(540)와, 상기 영상 데이터 출력 시, 상기 장면 식별 정보를 통해 상기 출력되는 영상 데이터의 장면을 식별하고, 상기 장면에 포함된 n개의 객체를 식별하는 객체 식별부(545)와, 상기 시선 추적 센서(525)를 통해 사용자의 시선을 추적하여 상기 n개의 객체 중 상기 사용자의 시선이 집중되는 어느 하나의 시선 집중 객체를 검출하는 시선 집중 객체 검출부(550)와, 상기 검출된 시선 집중 객체를 오토포커싱하는 오토포커싱 처리부(555)와, 상기 시선 집중 객체와 (n-1)개의 객체의 깊이를 비교하여 상기 시선 집중 객체의 깊이를 기준으로 i(0≤i≤(n-1))개의 블러링(Blurring) 대상 객체를 결정하는 블러링 대상 결정부(560)와, 상기 시선 집중 객체와 i개의 블러링 대상 객체 간 깊이 차이에 비례하여 상기 i개의 블러링 대상 객체를 블러링하는 블러링 처리부(565)를 구비한다.
본 발명의 일 실시 방법에 따라 상기 영상매체 인터페이스부(535)를 통해 인터페이스되는 영상 데이터에 상기 영상 데이터에 대한 각 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값이 연결된 경우, 상기 정보 확인부(540)는 상기 영상 데이터와 연결된 각 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 확인할 수 있다.
본 발명의 일 실시 방법에 따라 상기 영상매체 인터페이스부(535)를 통해 상기 영상 데이터만 인터페이스되는 경우, 상기 정보 확인부(540)는 상기 영상매체 인터페이스부(535)를 통해 인터페이스되는 영상 데이터의 비디오 데이터를 판독하여 상기 영상 데이터의 각 장면을 식별하는 장면 식별 정보를 확인한다.
여기서, 상기 장면 식별 정보는, 상기 영상 데이터의 재생 시간 정보, 비디오 프레임 구간 정보, 장면 정보를 포함하며, 상기 영상 데이터가 게임 데이터인 경우 맵(map) 위치 정보를 포함할 수 있다.
상기 장면 식별 정보가 확인되면, 상기 정보 확인부(540)는 상기 영상매체 인터페이스부(535)를 통해 인터페이스되는 영상 데이터의 비디오 데이터를 판독하여 상기 영상 데이터에 포함된 N개의 객체 중 상기 확인된 장면 식별 정보에 대응하는 각 장면에 포함된 n(1≤n≤N)개의 객체를 식별하는 객체 정보를 확인하고, 상기 확인된 n개의 객체에 대하여 사용자의 시선 방향에 대한 각 객체의 깊이에 대응하는 객체 깊이 값을 확인한다.
여기서, 상기 객체 정보는 상기 영상 출력 장치(500)를 통해 출력되는 영상 데이터에 포함된 비디오 데이터에 대응하는 각 장면에 포함된 n개의 객체 중 오토포커싱 또는 블러링이 가능한 객체를 식별하는 정보이다.
상기 객체 깊이 값은 상기 객체 정보에 대응하는 각 객체에 대하여 상기 영상 데이터를 관람하는 사용자의 시선 방향에 대한 깊이를 결정하는 값이다.
상기 영상 데이터의 각 장면을 식별하는 장면 식별 정보와, 상기 영상 데이터에 포함된 N개의 객체 중 상기 장면 식별 정보에 대응하는 각 장면에 포함된 n개의 객체 정보와, 상기 각 장면 별 n개의 객체 깊이 값이 확인되면, 상기 영상 출력 제어부(505)는 상기 시선 추적부(520)를 통해 사용자의 시선을 추적하여 상기 사용자의 시선이 집중된 시선 집중 객체를 확인한 후 상기 영상 출력 장치(500)에 구비된 적어도 하나의 기능 구성부와 연동하여 상기 각 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 통해 상기 각 장면 별 n개의 객체 중 시선 집중 객체를 오토포커싱 하고 나머지 (n-1)개의 객체 중 i개의 객체를 블러링한 영상 데이터를 구성하여 출력할 수 있다.
본 발명으로 확장되는 일 실시 방법에 따르면, 상기 정보 확인부(540)는 상기 각 장면 별 n개의 객체 중 상기 영상 데이터의 오디오 데이터를 기반으로 각 장면 별 사운드와 연관된 n’(0≤n’≤n)개의 사운드 객체 정보와 상기 n’개의 사운드 객체 별 사운드 데이터를 확인하고, 상기 영상 출력 제어부(505)는 상기 n’개의 사운드 객체 정보와 각 사운드 객체 별 사운드 데이터를 통해 상기 n’개의 사운드 객체 중 사용자의 시선이 집중된 사운드 객체의 음향을 증가시키거나 또는 음성 분별력을 향상시켜 출력할 수 있다.
만약 상기 영상매체 인터페이스부(535)를 통해 인터페이스되는 영상 데이터에 상기 영상 데이터에 대한 n’개의 사운드 객체 정보와 각 사운드 객체 별 사운드 데이터가 연결된 경우, 상기 정보 확인부(540)는 상기 영상 데이터와 연결된 n’개의 사운드 객체 정보와 각 사운드 객체 별 사운드 데이터를 확인할 수 있다.
반면 상기 영상매체 인터페이스부(535)를 통해 상기 영상 데이터만 인터페이스되는 경우, 상기 정보 확인부(540)는 상기 영상매체 인터페이스부(535)를 통해 인터페이스되는 영상 데이터와 연결된 자막 데이터(도시생략)를 판독하여 상기 영상 데이터의 비디오 데이터를 기반으로 확인된 각 장면 별 n개의 객체 중 상기 영상 데이터의 오디오 데이터를 대한 각 장면 별 사운드 데이터의 원천에 대응하는 n’개의 사운드 객체를 확인하고, 상기 확인된 사운드 객체를 식별하는 사운드 객체 정보와 상기 n’개의 사운드 객체가 원천인 n’개의 사운드 객체 별 사운드 데이터를 더 확인할 수 있다.
상기 정보 확인부(540)에 의해 n’개의 사운드 객체 정보와 n’개의 사운드 객체 별 사운드 데이터가 확인되면, 상기 영상 출력 제어부(505)는 상기 시선 추적부(520) 및 상기 영상 출력 장치(500)에 구비된 적어도 하나의 기능 구성부와 연동하여 사용자의 시선이 집중된 시선 집중 사운드 객체를 확인한 후 상기 시선 집중 사운드 객체의 사운드 데이터를 증폭시키거나 또는 음성의 분별력을 향상시키고 나머지 (n-1)개의 객체 중 j개의 사운드 객체의 사운드 데이터를 감소시키거나 또는 음성의 분별력을 감소시킨 영상 데이터를 구성하여 출력할 수 있다.
본 발명으로 확장되는 다른 일 실시 방법에 따르면, 상기 영상 데이터는 M개의 서로 다른 결말을 포함하여 구성될 수 있으며, 이 경우 상기 정보 확인부(540)는 상기 각 장면 별 n개의 객체 중 상기 M개의 다른 결말과 연관된 n”개의 스토리 분기 객체 정보를 더 확인하고, 상기 영상 출력 제어부(505)는 상기 M개의 결말 중 상기 n”개의 스토리 분기 객체 정보와 연관된 제m 결말로 상기 영상 데이터의 스토리를 분기하여 출력할 수 있다.
만약 상기 영상매체 인터페이스부(535)를 통해 인터페이스되는 영상 데이터에 상기 영상 데이터에 대한 n”개의 스토리 분기 객체 정보가 연결된 경우, 상기 정보 확인부(540)는 상기 영상 데이터와 연결된 n”개의 스토리 분기 객체 정보를 확인할 수 있다.
반면 상기 영상매체 인터페이스부(535)를 통해 상기 영상 데이터만 인터페이스되는 경우, 상기 정보 확인부(540)는 상기 영상매체 인터페이스부(535)를 통해 인터페이스되는 영상 데이터와 연결된 스토리 데이터(도시생략) 또는 자막 데이터(도시생략)를 판독하여 상기 영상 데이터의 비디오 데이터를 기반으로 확인된 각 장면 별 n개의 객체 중 상기 M개의 다른 결말과 연관된 n”개의 스토리 분기 객체를 더 확인할 수 있다.
상기 정보 확인부(540)에 의해 n”개의 스토리 분기 객체 정보가 확인되면, 상기 영상 출력 제어부(505)는 상기 시선 추적부(520) 및 상기 영상 출력 장치(500)에 구비된 적어도 하나의 기능 구성부와 연동하여 사용자의 시선이 집중된 시선 집중 스토리 분기 객체를 확인한 후 상기 M개의 결말 중 상기 시선 집중 스토리 분기 객체와 연관된 어느 하나의 제m 결말로 상기 영상 데이터의 스토리를 분기한 영상 데이터를 구성하여 출력할 수 있다.
상기 객체 식별부(545)는 상기 정보 확인부(540)를 통해 확인되는 장면 식별 정보를 통해 상기 영상매체 인터페이스부(535)를 통해 인터페이스되는 영상 데이터에 대한 장면을 식별하고, 상기 장면 식별 정보와 연결된 n개의 객체 정보를 통해 상기 장면에 포함된 n개의 객체를 식별한다.
상기 시선 집중 객체 검출부(550)는 상기 시선 추적부(520)와 연동하여 상기 시선 추적 센서(525)를 통해 상기 영상 데이터를 관람하는 사용자의 시선을 추적하여 상기 영상 데이터 중 상기 영상 데이터의 화면 영역 중 상기 사용자의 시선이 집중되는 시선 집중 점(또는 영역)을 검출하고, 상기 시선 집중 점(또는 영역)과 상기 영상 데이터의 장면으로부터 식별된 n개의 객체 위치를 비교하여 상기 객체 식별부(545)에 의해 식별된 n개의 객체 중 상기 사용자의 시선이 집중되는 어느 하나의 시선 집중 객체를 검출한다.
상기 영상 데이터의 장면에 포함된 n개의 객체 중 사용자의 시선이 집중된 시선 집중 객체가 검출되면, 상기 오토포커싱 처리부(555)는 상기 검출된 시선 집중 객체의 선명도를 향상시켜 오토포커싱 처리한다.
또한, 상기 블러링 대상 결정부(560)는 상기 영상 데이터의 장면에 포함된 n개의 객체 중 상기 시선 집중 객체를 제외한 나머지 (n-1)개의 객체를 확인하고, 상기 n개의 객체 정보와 연결된 n개의 객체 깊이 값을 비교하고, 상기 시선 집중 객체의 깊이를 기준으로 상기 (n-1)개의 객체 중 선명도를 감소시킬 i(0≤i≤(n-1))개의 블러링 대상 객체 또는 상기 영상 데이터의 기본 선명도를 그대로 유지한 ((n-1)-i)개의 포커스 유지 대상 객체를 결정한다.
만약 상기 블러링 대상 결정부(560)에 의해 i개의 블러링 대상 객체(또는 ((n-1)-i)개의 포커스 유지 대상 객체)가 결정되면, 상기 블러링 처리부(565)는 상기 시선 집중 객체와 i개의 블러링 대상 객체 간 깊이 차이에 비례하여 상기 i개의 블러링 대상 객체의 선명도를 상기 오토포커싱된 시선 집중 객체의 선명도(또는 상기 i개의 블러링 대상 객체의 기본 선명도)보다 감소시키되, ((n-1)-i)개의 포커스 유지 대상 객체의 선명도는 그대로 유지시킨다.
상기 오토포커싱 처리부(555)에 의해 상기 영상 데이터에 포함된 장면의 시선 집중 객체가 오토포커싱되면, 상기 영상 출력 제어부(505)는 상기 시선 집중 객체가 오토포커싱된 영상 데이터를 출력한다.
또는, 상기 오토포커싱 처리부(555)에 의해 상기 영상 데이터에 포함된 장면의 시선 집중 객체가 오토포커싱되고, 상기 블러링 처리부(565)에 의해 상기 장면에 포함된 n개의 객체 중 i개의 블러링 대상 객체가 블러링되면, 상기 영상 출력 제어부(505)는 상기 시선 집중 객체가 오토포커싱되고 i개의 블러링 대상 객체가 블러링된 영상 데이터를 출력한다.
본 발명으로 확장되는 일 실시 방법에 따라 상기 n’개의 사운드 객체 정보와 n’개의 사운드 객체 별 사운드 데이터가 확인되는 경우, 상기 영상 출력 장치(500)는, 상기 시선 집중 객체 검출부(550)를 통해 시선 집중 객체가 검출되면, 상기 시선 집중 객체가 상기 사운드 객체에 상응하는지 확인하는 사운드 객체 확인부(570)와, 시선 집중 사운드 객체가 확인되면, 상기 시선 집중 사운드 객체의 사운드 데이터를 증폭시키거나 또는 음성의 분별력을 향상시키는 사운드 조정부(575)를 더 구비할 수 있다.
상기 정보 확인부(540)에 의해 n’개의 사운드 객체 정보와 n’개의 사운드 객체 별 사운드 데이터가 확인되고, 상기 시선 집중 객체 검출부(550)를 통해 시선 집중 객체가 검출되면, 상기 사운드 객체 확인부(570)는 상기 시선 집중 객체가 상기 n’개의 사운드 객체 중 어느 하나와 매칭되는지 확인한다.
만약 상기 시선 집중 객체가 사운드 객체와 매칭되면, 상기 사운드 조정부(575)는 상기 시선 집중 사운드 객체와 연관된 사운드 데이터를 확인하고, 상기 확인된 시선 집중 객체와 연관된 사운드 데이터의 음향을 증폭시켜 상기 영상 데이터의 오디오 데이터에 포함시키거나, 또는 상기 사운드 객체와 연관된 사운드 데이터가 음성 데이터인 경우 상기 음성 데이터의 음성 분별력을 향상시켜 상기 영상 데이터의 오디오 데이터에 포함시킬 수 있으며, 상기 영상 출력 제어부(505)는 상기 시선 집중 사운드 객체의 사운드 데이터가 증폭되거나 또는 음성 분별력이 향상된 오디오 데이터를 포함하는 영상 데이터를 출력한다.
또한, 상기 사운드 조정부(575)는 상기 장면에 포함된 (n-1)개의 객체 중 상기 사운드 데이터와 연관되지만 상기 사용자의 시선이 집중되지 않은 j(0≤j≤(n-1))개의 사운드 객체를 결정하고, 상기 시선 집중 사운드 객체와 상기 j개의 사운드 객체 간 깊이 차이에 비례하여 상기 j개의 사운드 객체에 대한 사운드 데이터의 음향을 감소시키거나 또는 음성의 분별력을 감소시켜 상기 영상 데이터의 오디오 데이터에 포함시킬 수 있으며, 상기 영상 출력 제어부(505)는 상기 j개의 일반 사운드 객체의 사운드 데이터가 감소되거나 또는 음성 분별력이 감소된 오디오 데이터를 포함하는 영상 데이터를 출력한다.
본 발명으로 확장되는 일 실시 방법에 따라 상기 n”개의 스토리 분기 객체 정보가 확인되는 경우, 상기 영상 출력 장치(500)는, 상기 시선 집중 객체 검출부(550)를 통해 시선 집중 객체가 검출되면, 상기 시선 집중 객체가 상기 스토리 분기 객체에 상응하는지 확인하는 스토리 분기 객체 확인부(580)와, 시선 집중 스토리 분기 객체가 확인되면, 상기 영상 데이터의 결말을 상기 M개의 서로 다른 결말 중 상기 시선 집중 스토리 분기 객체와 연관된 제m 결말로 결정하는 스토리 분기부(585)를 더 구비할 수 있다.
상기 정보 확인부(540)에 의해 n”개의 스토리 분기 객체 정보가 확인되고, 상기 시선 집중 객체 검출부(550)를 통해 시선 집중 객체가 검출되면, 상기 스토리 분기 객체 확인부(580)는 상기 시선 집중 객체가 상기 n”개의 스토리 분기 객체 중 어느 하나와 매칭되는지 확인한다.
만약 상기 시선 집중 객체가 스토리 분기 객체와 매칭되면, 상기 스토리 분기부(585)는 상기 영상 데이터의 결말을 상기 M개의 결말 중 시선 집중 스토리 분기 객체와 연관된 제m 결말을 결정하고, 상기 영상 출력 제어부(505)는 상기 제m 결말에 대응하는 영상 데이터를 출력한다.
도면6은 본 발명의 다른 일 실시 방법에 따른 영상 데이터의 오토포커싱/블러링 과정을 도시한 도면이다.
보다 상세하게 본 도면6은 상기 도면5에 도시된 영상 출력 장치(500)에서 영상매체(530)로부터 인터페이스되는 영상 데이터의 각 장면에 포함된 n개의 객체 중 사용자의 시선이 집중되는 시선 집중 객체를 오토포커싱하고, 상기 사용자의 시선 방향에 대한 깊이 차이에 따라 상기 (n-1)개의 객체 중 i개의 객체를 상기 시선 집중 객체와의 깊이 차이에 따라 블러링하여 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면6을 참조 및/또는 변형하여 상기 오토포커싱/블러링 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면6에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
도면6을 참조하면, 상기 영상 출력 장치(500)는 영상매체(530)로부터 인터페이스되는 영상 데이터의 각 장면을 식별하는 장면 식별 정보와 상기 영상 데이터에 포함된 N개의 객체 중 상기 장면 식별 정보에 대응하는 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체에 대한 사용자 시선 방향의 깊이에 대응하는 객체 깊이 값을 확인한다(600).
만약 상기 영상 데이터에 대한 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값이 확인되지 않으면(605), 상기 영상 출력 장치(500)는 상기 영상매체(530)로부터 인터페이스된 영상 데이터를 출력하고(610), 상기 영상 데이터의 출력이 완료될 때까지 상기 과정을 반복한다(660).
반면 상기 영상 데이터에 대한 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값이 확인되면(605), 상기 영상 출력 장치(500)는 상기 장면 식별 정보를 통해 상기 영상 출력 장치(500)로 전달되어 출력되는 출력 대상 영상 데이터의 장면을 식별하고, 상기 장면 식별 정보와 연결된 각 장면 별 n개의 객체 정보를 통해 상기 장면에 포함된 n개의 객체를 식별한다(615).
만약 상기 영상 데이터의 장면에 포함된 n개의 객체가 식별되지 않으면(620), 상기 영상 출력 장치(500)는 상기 영상매체(530)로부터 인터페이스된 영상 데이터를 출력하고(610), 상기 영상 데이터의 출력이 완료될 때까지 상기 과정을 반복한다(660).
반면 상기 영상 데이터의 장면에 포함된 n개의 객체가 식별되면(620), 상기 영상 출력 장치(500)는 상기 시선 추적 센서(525)를 통해 상기 영상 데이터를 관람하는 사용자의 시선을 추적하여 상기 장면에 포함된 n개의 객체 중 상기 사용자의 시선이 집중되는 시선 집중 객체를 검출한다(625).
만약 상기 사용자의 시선이 집중되는 시선 집중 객체가 검출되면(630), 상기 영상 출력 장치(500)는 상기 영상 데이터에 포함된 n개의 객체 중 상기 검출된 시선 집중 객체의 선명도를 향상시키는 오토포커싱을 처리한다(635).
또한, 상기 영상 출력 장치(500)는 상기 저장된 각 장면 별 n개의 객체 깊이 값을 비교하여 상기 장면에 포함된 (n-1)개의 객체 중 상기 시선 집중 객체의 깊이를 기준으로 상기 (n-1)개의 객체 중 선명도를 감소시킬 i개의 블러링 대상 객체를 결정한다(640).
만약 상기 i개의 블러링 대상 객체가 결정되지 않으면(645), 상기 영상 출력 장치(500)는 상기 시선 집중 객체를 기준으로 오토포커싱된 영상 데이터를 출력하고(655), 상기 영상 데이터의 출력이 완료될 때까지 상기 과정을 반복한다(660).
반면 상기 i개의 블러링 대상 객체가 결정되면(645), 상기 영상 출력 장치(500)는 상기 영상 데이터에 포함된 i개의 블러링 대상 객체를 블러링 처리하고(650), 상기 시선 집중 객체를 기준으로 오토포커싱 및 블러링된 영상 데이터를 출력하고(655), 상기 영상 데이터의 출력이 완료될 때까지 상기 과정을 반복한다(660).
도면7은 본 발명의 다른 일 실시 방법에 따른 영상 데이터의 사운드 조정 과정을 도시한 도면이다.
보다 상세하게 본 도면7은 상기 도면5에 도시된 영상 출력 장치(500)에서 영상매체(530)로부터 인터페이스되는 영상 데이터의 각 장면에 포함된 n개의 객체 중 사운드와 연관된 n’개의 사운드 객체와 사운드 데이터를 결정한 후, 상기 도면6에 도시된 과정을 통해 검출된 시선 집중 객체가 상기 사운드 객체와 매칭되면, 상기 시선 집중 사운드 객체와 연관된 사운드 데이터를 증폭하거나 또는 음성 분별력을 향상시켜 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면7을 참조 및/또는 변형하여 상기 사운드 조정 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면7에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
도면7을 참조하면, 상기 영상 출력 장치(500)는 상기 영상매체(530)로부터 인터페이스되는 영상 데이터의 비디오 데이터를 기반으로 상기 영상 데이터의 각 장면 별 n개의 객체 정보 중 상기 영상 데이터의 오디오 데이터에 포함된 사운드와 연관된 n’개의 사운드 객체와 사운드 데이터를 확인한다(700).
만약 상기 n’개의 사운드 객체 정보와 사운드 데이터가 확인되지 않으면(705), 상기 영상 출력 장치(500)는 상기 영상매체(530)로부터 인터페이스된 영상 데이터를 출력하고(710), 상기 영상 데이터의 출력이 완료될 때까지 상기 도면6 및 본 도면7에 도시된 과정을 반복한다(660).
반면 상기 n’개의 사운드 객체 정보와 사운드 데이터가 확인되면(705), 상기 영상 출력 장치(500)는 상기 시선 집중 객체가 상기 사운드 객체와 매칭되는지 확인한다(715).
만약 상기 시선 집중 객체가 상기 사운드 객체와 매칭되지 않으면(720), 상기 영상 출력 장치(500)는 상기 영상매체(530)로부터 인터페이스된 영상 데이터를 출력하고(710), 상기 영상 데이터의 출력이 완료될 때까지 상기 도면6 및 본 도면7에 도시된 과정을 반복한다(660).
반면 상기 시선 집중 객체가 상기 사운드 객체와 매칭되면(720), 상기 영상 출력 장치(500)는 상기 시선 집중 사운드 객체와 연관된 사운드 데이터의 음향을 증폭하거나 또는 음성 분별력을 향상시킨다(725).
또한, 상기 영상 출력 장치(500)는 상기 (n-1)개의 객체 중 j개의 일반 사운드 객체를 확인한다(730).
만약 상기 j개의 일반 사운드 객체가 확인되지 않으면(735), 상기 영상 출력 장치(500)는 상기 시선 집중 사운드 객체와 연관된 사운드 데이터의 음향이 증폭되거나 또는 음성 분별력을 향상된 영상 데이터를 출력하고(740), 상기 영상 데이터의 출력이 완료될 때까지 상기 도면6 및 본 도면7에 도시된 과정을 반복한다(660).
반면 상기 j개의 일반 사운드 객체가 확인되면(740), 상기 영상 출력 장치(500)는 j개의 일반 사운드 객체와 연관된 사운드 데이터의 사운드 데이터의 음향을 감소하거나 또는 음성 분별력을 감소시키고(740), 상기 시선 집중 사운드 객체와 연관된 사운드 데이터의 음향이 증폭되거나 또는 음성 분별력을 향상되고, 상기 j개의 일반 사운드 객체와 연관된 사운드 데이터의 음향이 감소되거나 또는 음성 분별력이 감소된 영상 데이터를 출력하고(740), 상기 영상 데이터의 출력이 완료될 때까지 상기 도면6 및 본 도면7에 도시된 과정을 반복한다(660).
도면8은 본 발명의 다른 일 실시 방법에 따른 영상 데이터의 스토리 분기 과정을 도시한 도면이다.
보다 상세하게 본 도면8은 상기 도면5에 도시된 영상 출력 장치(500)에서 영상매체(530)로부터 인터페이스되는 영상 데이터의 각 장면에 포함된 n개의 객체 중 M개의 결말과 연관된 n”개의 스토리 분기 객체를 결정한 후, 상기 도면6에 도시된 과정을 통해 검출된 시선 집중 객체가 상기 스토리 분기 객체와 매칭되면, 상기 M개의 결말 중 상기 시선 집중 스토리 분기 객체와 연관된 제m 결말에 대응하는 영상 데이터를 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면8을 참조 및/또는 변형하여 상기 스토리 분기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면8에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
도면8을 참조하면, 상기 영상 출력 장치(500)는 상기 영상매체(530)로부터 인터페이스되는 영상 데이터의 비디오 데이터를 기반으로 상기 영상 데이터의 각 장면 별 n개의 객체 정보 중 상기 영상 데이터에 대한 M개의 별말과 연관된 n”개의 스토리 분기 객체를 결정한다(800).
만약 상기 n”개의 스토리 분기 객체가 확인되지 않으면(805), 상기 영상 출력 장치(500)는 상기 영상매체(530)로부터 인터페이스된 영상 데이터를 출력하고(810), 상기 영상 데이터의 출력이 완료될 때까지 상기 도면6 및 본 도면8에 도시된 과정을 반복한다(660).
반면 상기 n”개의 스토리 분기 객체가 확인되면(805), 상기 영상 출력 장치(500)는 상기 시선 집중 객체가 상기 스토리 분기 객체와 매칭되는지 확인한다(815).
만약 상기 시선 집중 객체가 상기 스토리 분기 객체와 매칭되지 않으면(820), 상기 영상 출력 장치(500)는 상기 영상매체(530)로부터 인터페이스된 영상 데이터를 출력하고(810), 상기 영상 데이터의 출력이 완료될 때까지 상기 도면6 및 본 도면8에 도시된 과정을 반복한다(660).
반면 상기 시선 집중 객체가 상기 스토리 분기 객체와 매칭되면(820), 상기 영상 출력 장치(500)는 상기 M개의 결말 중 상기 시선 집중 스토리 분기 객체와 연관된 제m 결말을 확인하고(825), 상기 M개의 스토리 분기 영상 데이터 중 상기 제m결말에 대응하는 영상 데이터를 확인한 후(830), 상기 확인된 제m 결말에 대응하는 영상 데이터를 출력하고(835), 상기 영상 데이터의 출력이 완료될 때까지 상기 도면6 및 본 도면8에 도시된 과정을 반복한다(660).
100 : 영상매체 운영수단 105 : 저장매체
110 : 전달매체 115 : 시선 집중 객체 검출수단
120 : 정보 결정수단 125 : 객체 식별수단
130 : 오토포커싱 처리수단 135 : 블러링 대상 결정수단
140 : 블러링 처리수단 145 : 사운드 객체 확인수단
150 : 사운드 조정수단 155 : 스토리 분기 객체 확인수단
160 : 스토리 분기수단 165 : 시선 추적 센서

Claims (10)

  1. 사용자의 시선을 추적하는 시선 추적 센서를 구비한 영상 출력 장치와 연결된 서버의 영상 데이터 출력 시스템에 있어서,
    영상 데이터의 비디오 데이터를 기반으로 상기 영상 데이터의 각 장면을 식별하는 장면 식별 정보와 상기 영상 데이터에 포함된 N(N>1)개의 객체 중 상기 장면 식별 정보에 대응하는 각 장면 별 n(1≤n≤N)개의 객체 정보 및 각 장면 별 n개의 객체에 대한 사용자 시선 방향의 깊이(Depth)에 대응하는 객체 깊이 값을 결정하는 정보 결정수단;
    상기 결정된 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 상기 영상 데이터와 연결하여 영상매체에 저장(또는 전달)하는 영상매체 운영수단;
    상기 영상 출력 장치를 통해 상기 영상 데이터 출력 시, 상기 장면 식별 정보를 통해 상기 출력되는 영상 데이터의 장면을 식별하고, 상기 장면에 포함된 n개의 객체를 식별하는 객체 식별수단;
    상기 시선 추적 센서를 통해 사용자의 시선을 추적하여 상기 n개의 객체 중 상기 사용자의 시선이 집중되는 어느 하나의 시선 집중 객체를 검출하는 시선 집중 객체 검출수단;
    상기 검출된 시선 집중 객체를 오토포커싱(Autofocussing)하는 오토포커싱 처리수단;
    상기 장면에 포함된 시선 집중 객체와 (n-1)개의 객체의 깊이를 비교하여 상기 시선 집중 객체의 깊이를 기준으로 i(0≤i≤(n-1))개의 블러링(Blurring) 대상 객체를 결정하는 블러링 대상 결정수단; 및
    상기 시선 집중 객체와 i개의 블러링 대상 객체 간 깊이 차이에 비례하여 상기 i개의 블러링 대상 객체를 블러링하는 블러링 처리수단;을 구비하여 이루어지는 것을 특징으로 하는 영상 데이터 출력 시스템.
  2. 제 1항에 있어서,
    상기 정보 결정수단은,
    상기 각 장면 별 n개의 객체 중 상기 영상 데이터의 오디오 데이터를 기반으로 각 장면 별 사운드와 연관된 n’(0≤n’≤n)개의 사운드 객체 정보와 상기 n’개의 사운드 객체 별 사운드 데이터를 더 결정하고,
    상기 영상매체 운영수단은,
    상기 n’개의 사운드 객체 정보와 각 사운드 객체 별 사운드 데이터를 상기 영상 데이터와 연결하여 상기 영상매체에 유지시키는 것을 특징으로 하는 영상 데이터 출력 시스템.
  3. 제 1항에 있어서,
    상기 영상매체에 상기 영상 데이터의 각 장면 별 사운드와 연관된 n’(0≤n’≤n)개의 사운드 객체 정보와 각 사운드 객체 별 사운드 데이터가 유지되는 경우, 상기 시선 집중 객체 검출수단을 통해 시선 집중 객체가 검출되면, 상기 시선 집중 객체가 상기 사운드 객체에 상응하는지 확인하는 사운드 객체 확인수단;
    시선 집중 사운드 객체가 확인되면, 상기 시선 집중 사운드 객체의 사운드 데이터를 증폭시키거나 또는 음성의 분별력을 향상시키는 사운드 조정수단;을 더 구비하여 이루어지는 것을 특징으로 하는 영상 데이터 출력 시스템.
  4. 제 3항에 있어서, 상기 사운드 조정수단은,
    상기 장면에 포함된 (n-1)개의 객체 중 상기 사운드 데이터와 연관되며 상기 시선 집중 사운드 객체를 제외한 j(0≤j≤(n-1))개의 사운드 객체를 결정한 후, 상기 시선 집중 사운드 객체와 상기 j개의 사운드 객체 간 깊이 차이에 비례하여 상기 j개의 사운드 객체의 사운드 데이터를 감소시키거나 또는 음성의 분별력을 감소시키는 것을 특징으로 하는 영상 데이터 출력 시스템.
  5. 제 1항에 있어서,
    상기 영상 데이터는,
    M(M>1)개의 서로 다른 결말을 포함하여 구성되며,
    상기 정보 결정수단은,
    상기 각 장면 별 n개의 객체 중 상기 M개의 다른 결말과 연관된 n”(0≤n’≤n)개의 스토리 분기 객체 정보를 더 결정하고,
    상기 영상매체 운영수단은,
    상기 n”개의 스토리 분기 객체 정보를 상기 영상 데이터와 연결하여 상기 영상매체에 유지시키는 것을 특징으로 하는 영상 데이터 출력 시스템.
  6. 제 1항에 있어서,
    상기 영상매체에 상기 영상 데이터의 서로 다른 M(M>1)개의 결말과 연관된 n”(0≤n’≤n)개의 스토리 분기 객체 정보가 유지되는 경우, 상기 시선 집중 객체 검출수단을 통해 시선 집중 객체가 검출되면, 상기 시선 집중 객체가 상기 스토리 분기 객체에 상응하는지 확인하는 스토리 분기 객체 확인수단;
    시선 집중 스토리 분기 객체가 확인되면, 상기 영상 데이터의 결말을 상기 M개의 서로 다른 결말 중 상기 시선 집중 스토리 분기 객체와 연관된 제m(1≤m≤M) 결말로 결정하는 스토리 분기수단;을 더 구비하여 이루어지는 것을 특징으로 하는 영상 데이터 출력 시스템.
  7. 제 1항에 있어서, 상기 영상 데이터는,
    카메라를 통해 촬영된 실사 영상에 포함된 실사 객체의 식별이 가능한 실사 영상 데이터,
    텍스쳐가 매핑/렌더링된 폴리곤으로 구성된 가상 영상에 포함된 폴리곤에 대응하는 가상 객체의 식별이 가능한 가상 영상 데이터,
    상기 실사 영상과 가상 영상이 결합된 영상에 포함된 실사 객체와 가상 객체 중 적어도 하나의 객체 식별이 가능한 실사/가상 영상 데이터,
    양안시차에 의한 입체감을 표시하는 3D 카메라를 통해 촬영된 실사 입체 영상에 포함된 실사 입체감 객체의 식별이 가능한 실사 입체 영상 데이터,
    상기 양안시차에 의한 입체감이 표시되도록 구성된 폴리곤에 텍스쳐를 매핑/렌더링하여 구성된 가상 입체 영상에 포함된 가상 입체감 객체의 식별이 가능한 가상 입체 영상 데이터, 및
    상기 실사 입체 영상과 가상 입체 영상이 결합된 입체 영상에 포함된 실사 입체감 객체와 가상 입체감 객체 중 적어도 하나의 입체감 객체의 식별이 가능한 실사/가상 입체 영상 데이터를 적어도 하나 포함하여 이루어지는 것을 특징으로 하는 영상 데이터 출력 시스템.
  8. 영상 데이터의 비디오 데이터를 기반으로 각 장면을 식별하는 장면 식별 정보와 상기 영상 데이터에 포함된 N(N>1)개의 객체 중 상기 장면 식별 정보에 대응하는 각 장면 별 n(1≤n≤N)개의 객체 정보 및 각 장면 별 n개의 객체에 대한 사용자 시선 방향의 깊이(Depth)를 표시하는 객체 깊이 값을 상기 영상 데이터와 연결하여 유지하는 영상매체;
    상기 영상 데이터 출력 시, 상기 영상 데이터의 각 장면에 포함된 n개의 객체를 식별하고, 시선 추적 센서를 통해 상기 n개의 객체 중 상기 사용자의 시선이 집중되는 어느 하나의 시선 집중 객체를 검출하여 오토포커싱(Autofocussing)하는 영상 출력 장치;를 구비하며,
    상기 영상매체는,
    상기 영상 데이터를 저장하는 저장매체 또는 상기 영상 데이터를 상기 영상 출력 장치로 전송하는 전달매체 중 적어도 하나를 포함하여 이루어지는 것을 특징으로 하는 영상 데이터 출력 시스템.
  9. 제 1항에 있어서, 상기 영상 출력 장치는,
    상기 시선 집중 객체와 (n-1)개의 객체의 깊이를 비교하여 상기 시선 집중 객체의 깊이를 기준으로 i(0≤i≤(n-1))개의 블러링(Blurring) 대상 객체를 결정하고, 상기 시선 집중 객체와 i개의 블러링 대상 객체 간 깊이 차이에 비례하여 상기 i개의 블러링 대상 객체를 블러링하는 것을 특징으로 영상 데이터 출력 시스템.
  10. 사용자의 시선을 추적하는 시선 추적 센서를 구비하고 영상매체로부터 전달되는 영상 데이터를 출력하는 영상 출력 장치에 있어서,
    영상 데이터의 비디오 데이터를 기반으로 각 장면을 식별하는 장면 식별 정보와 상기 영상 데이터에 포함된 N(N>1)개의 객체 중 상기 장면 식별 정보에 대응하는 각 장면 별 n(1≤n≤N)개의 객체 정보 및 각 장면 별 n개의 객체에 대한 사용자 시선 방향의 깊이(Depth)를 표시하는 객체 깊이 값을 확인하는 정보 확인부;
    상기 영상 데이터 출력 시, 상기 장면 식별 정보를 통해 상기 출력되는 영상 데이터의 장면을 식별하고, 상기 장면에 포함된 n개의 객체를 식별하는 객체 식별부;
    상기 시선 추적 센서를 통해 사용자의 시선을 추적하여 상기 n개의 객체 중 상기 사용자의 시선이 집중되는 어느 하나의 시선 집중 객체를 검출하는 시선 집중 객체 검출부;
    상기 검출된 시선 집중 객체를 오토포커싱(Autofocussing)하는 오토포커싱 처리부;
    상기 시선 집중 객체와 (n-1)개의 객체의 깊이를 비교하여 상기 시선 집중 객체의 깊이를 기준으로 i(0≤i≤(n-1))개의 블러링(Blurring) 대상 객체를 결정하는 블러링 대상 결정부; 및
    상기 시선 집중 객체와 i개의 블러링 대상 객체 간 깊이 차이에 비례하여 상기 i개의 블러링 대상 객체를 블러링하는 블러링 처리부;를 구비하여 이루어지는 것을 특징으로 하는 영상 출력 장치.
KR1020100038192A 2010-04-23 2010-04-23 영상 데이터 출력 시스템과 이를 위한 영상 출력 장치 KR101740728B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100038192A KR101740728B1 (ko) 2010-04-23 2010-04-23 영상 데이터 출력 시스템과 이를 위한 영상 출력 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100038192A KR101740728B1 (ko) 2010-04-23 2010-04-23 영상 데이터 출력 시스템과 이를 위한 영상 출력 장치

Publications (2)

Publication Number Publication Date
KR20110118530A true KR20110118530A (ko) 2011-10-31
KR101740728B1 KR101740728B1 (ko) 2017-05-29

Family

ID=45032118

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100038192A KR101740728B1 (ko) 2010-04-23 2010-04-23 영상 데이터 출력 시스템과 이를 위한 영상 출력 장치

Country Status (1)

Country Link
KR (1) KR101740728B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140144510A (ko) * 2013-06-11 2014-12-19 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
CN106599788A (zh) * 2016-11-21 2017-04-26 桂林远望智能通信科技有限公司 一种视频运动目标越线检测系统及方法
KR20200040716A (ko) * 2020-04-01 2020-04-20 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
KR20200111144A (ko) * 2020-04-01 2020-09-28 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
KR20210004929A (ko) * 2019-04-25 2021-01-13 강성철 다초점 영상 재생 장치 및 방법
KR20210125465A (ko) * 2020-09-18 2021-10-18 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
KR20220122955A (ko) * 2014-07-29 2022-09-05 삼성전자주식회사 모바일 디바이스에서 촬영된 전자 기기와 페어링하는 방법 및 장치

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140144510A (ko) * 2013-06-11 2014-12-19 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US11194388B2 (en) 2013-06-11 2021-12-07 Samsung Electronics Co., Ltd. Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US11366516B2 (en) 2013-06-11 2022-06-21 Samsung Electronics Co., Ltd. Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
KR20220122955A (ko) * 2014-07-29 2022-09-05 삼성전자주식회사 모바일 디바이스에서 촬영된 전자 기기와 페어링하는 방법 및 장치
CN106599788A (zh) * 2016-11-21 2017-04-26 桂林远望智能通信科技有限公司 一种视频运动目标越线检测系统及方法
CN106599788B (zh) * 2016-11-21 2019-09-27 桂林远望智能通信科技有限公司 一种视频运动目标越线检测系统及方法
KR20210004929A (ko) * 2019-04-25 2021-01-13 강성철 다초점 영상 재생 장치 및 방법
KR20200040716A (ko) * 2020-04-01 2020-04-20 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
KR20200111144A (ko) * 2020-04-01 2020-09-28 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
KR20210125465A (ko) * 2020-09-18 2021-10-18 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치

Also Published As

Publication number Publication date
KR101740728B1 (ko) 2017-05-29

Similar Documents

Publication Publication Date Title
US10750154B2 (en) Immersive stereoscopic video acquisition, encoding and virtual reality playback methods and apparatus
KR100812905B1 (ko) 입체 화상 처리 방법, 장치 및 컴퓨터 판독가능 기록 매체
US9774896B2 (en) Network synchronized camera settings
EP2618584B1 (en) Stereoscopic video creation device and stereoscopic video creation method
KR20110118530A (ko) 영상 데이터 출력 시스템과 이를 위한 영상 출력 장치
EP2532166B1 (en) Method, apparatus and computer program for selecting a stereoscopic imaging viewpoint pair
CN105894567B (zh) 放缩三维场景中的用户控制的虚拟对象的像素深度值
US11037321B2 (en) Determining size of virtual object
JP3749227B2 (ja) 立体画像処理方法および装置
JP2004221700A (ja) 立体画像処理方法および装置
JP3857988B2 (ja) 立体画像処理方法および装置
US20150195443A1 (en) Systems and methods for real-time view-synthesis in a multi-camera setup
US20190014288A1 (en) Information processing apparatus, information processing system, information processing method, and program
US11508127B2 (en) Capturing augmented reality on a head mounted display
JP2004221699A (ja) 立体画像処理方法および装置
JP4118146B2 (ja) 立体画像処理装置
KR101856632B1 (ko) 화자의 위치를 기반으로 한 자막 디스플레이 방법 및 이러한 방법을 수행하는 장치
US9325963B2 (en) Device and method for rendering and delivering 3-D content
CN113485547A (zh) 一种应用于全息沙盘的交互方法及装置
KR20200097543A (ko) Ar 기반 퍼포먼스 영상 관람 시스템 및 이를 이용한 퍼포먼스 영상 제공 방법
KR101947799B1 (ko) 가상현실 콘텐츠 서비스를 위한 360도 vr 어안 렌더링 방법
Steurer et al. 3d holoscopic video imaging system
CN112369018A (zh) 用于产生虚拟现实立体图像的光学装置
JP2011223540A (ja) 立体動画処理装置およびその動作制御方法
CA2982015A1 (en) Method and apparatus for depth enhanced imaging

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant