KR101329069B1 - 깊이 추정 데이터 생성 장치, 깊이 추정 데이터 생성 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체 및, 의사 입체 화상 표시 장치 - Google Patents

깊이 추정 데이터 생성 장치, 깊이 추정 데이터 생성 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체 및, 의사 입체 화상 표시 장치 Download PDF

Info

Publication number
KR101329069B1
KR101329069B1 KR1020120006662A KR20120006662A KR101329069B1 KR 101329069 B1 KR101329069 B1 KR 101329069B1 KR 1020120006662 A KR1020120006662 A KR 1020120006662A KR 20120006662 A KR20120006662 A KR 20120006662A KR 101329069 B1 KR101329069 B1 KR 101329069B1
Authority
KR
South Korea
Prior art keywords
data
shift amount
image
value
generating
Prior art date
Application number
KR1020120006662A
Other languages
English (en)
Other versions
KR20130026370A (ko
Inventor
싱고 기다
Original Assignee
가부시키가이샤 제이브이씨 켄우드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 제이브이씨 켄우드 filed Critical 가부시키가이샤 제이브이씨 켄우드
Publication of KR20130026370A publication Critical patent/KR20130026370A/ko
Application granted granted Critical
Publication of KR101329069B1 publication Critical patent/KR101329069B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

깊이 추정 데이터 생성 장치는, 화상 특징 검출부와, 차분 데이터 생성부와, 부의 시프트량 생성부와, 정의 시프트량 생성부를 구비한다. 화상 특징 검출부는, 입력된 비입체 화상의 평균 휘도로부터 검출된 평균치 데이터와, 최소 휘도로부터 검출된 최소치 데이터와, 최대 휘도로부터 검출된 최대치 데이터를 생성한다. 차분 데이터 생성부는, 비입체 화상과 평균치 데이터와의 차분을 구하여 차분 데이터를 생성한다. 부(負)의 시프트량 생성부는, 최소치 데이터를 이용한 차분 데이터가 시프트량의 최소치를 갖고, 차분 데이터가 0에 가까워짐에 따라 시프트량이 최소치로부터 0에 가까워지는 값이 되는 부의 시프트량을 생성한다. 정(正)의 시프트량 생성부는 최대치 데이터를 이용한 차분 데이터가 시프트량의 최대치를 갖고, 차분 데이터가 0에 가까워짐에 따라 시프트량이 상기 최대치로부터 0에 가까워지는 값이 되는 정의 시프트량을 생성한다.

Description

깊이 추정 데이터 생성 장치, 깊이 추정 데이터 생성 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체 및, 의사 입체 화상 표시 장치{DEPTH ESTIMATION DATA GENERATING DEVICE, COMPUTER READABLE RECORDING MEDIUM HAVING DEPTH ESTIMATION DATA GENERATING PROGRAM RECORDED THEREON, AND PSEUDO-STEREO IMAGE DISPLAY DEVICE}
본 발명은 깊이 추정 데이터 생성 장치, 깊이 추정 데이터 생성 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체, 및 의사 입체 화상 표시 장치에 관한 것으로, 특히 통상의 정지 화상 또는 동영상, 즉 깊이 정보가 명시적으로도 또는 스테레오 화상과 같이 암시적으로도 부여되어 있지 않은 화상(비입체 화상)으로부터 의사적(擬似的)인 입체 화상을 생성하는 깊이 추정 데이터 생성 장치, 깊이 추정 데이터 생성 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체 및, 의사 입체 화상 표시 장치에 관한 것이다.
입체 표시 시스템에서는, 비입체 화상의 의사 입체시(立體視)에 의한 감상을 가능하게 하기 위해, 통상의 정지 화상 또는 동영상, 즉 입체를 나타내기 위한 깊이 정보가 명시적으로도 또는 스테레오 화상과 같이 암시적으로도 부여되어 있지 않은 화상(비입체 화상)으로부터, 의사적인 입체 화상을 생성하는 처리가 행해지고 있다.
이러한 기술의 일 예로서, 예를 들면 특허문헌 1(일본공개특허공보 평9-185712호)에 개시된 기술과 같이, 깊이에 따른 윤곽선을 단면으로 한 튜브를 구성하는 것을 전제로 한 원근법 베이스의 어프로치가 종래부터 알려져 있다.
이 특허문헌 1에 개시된 기술은, 메시 화상 데이터에 윤곽선의 거리 정보를 부가하여 삼차원 폴리곤 입체 데이터를 형성하고, 이 삼차원 폴리곤 입체 데이터에 사진 화상으로부터 취득한 컬러 화상 데이터를 적용한다. 그리고, 삼차원 폴리곤 입체 데이터로 구성되는 삼차원 폴리곤 입체의 내측에 컬러 화상 데이터를 접착하는 형태로, 상기 삼차원 폴리곤 입체를 렌더링 처리하여 삼차원 화상 데이터를 얻도록 한 것이다.
또한, 다른 종래예로서는 특허문헌 2(일본공개특허공보 2006-185033호)에 개시된 기술이 있으며, 특허문헌 2에 개시된 의사 입체 화상 생성 장치에서는, 가능한 한 현실에 가까운 씬(scene) 구조의 결정을 행하기 위해, 기본이 되는 복수의 씬 구조의 각각에 대해서 깊이값을 나타내는 복수의 기본 깊이 모델을 이용하여, 상부의 고역 성분 평가부와 하부의 고역 성분 평가부로부터의 고역 성분 평가치에 따라서 합성 비율을 결정하고, 그 합성 비율에 따라서 복수의 기본 깊이 모델을 합성한다. 그리고, 가산기에 있어서, 합성한 기본 깊이 모델과 비입체 화상의 R신호를 중첩하고, 최종적인 깊이 추정 데이터를 생성하고, 이 깊이 추정 데이터를 기초로 한 처리를 비입체 화상의 영상 신호에 시행함으로써, 입체감을 느끼게 하는 다른 시점 화상의 영상 신호를 생성하고 있다.
그러나, 특허문헌 1에 개시된 수법은, 원근법을 기본으로 하고 있고, 실제로는 입력되는 여러 가지 비입체 화상의 모든 씬에 대하여 원근법적인 구조 추정이 적합한 것은 아니기 때문에, 효과가 한정적으로 되어 버린다는 문제점이 있다. 또한, 원근법적인 구조 추정이 적합한 경우라도 자동적으로 올바른 깊이 구조 모델을 구성하여 위화감이 없는 입체시(立體視)를 실현시키는 것은 용이하지 않다는 문제점도 있었다.
또한, 특허문헌 2에 개시된 수법에서는, 복수의 기본 깊이 모델을 합성하고, 이 합성된 기본 깊이 모델에 R신호를 중첩함으로써 깊이 추정 데이터를 생성하고 있다. 그런데, 중첩되는 R신호가 1 화면 내에서 큰 값의 근방에 모여 있는 경우에는, 깊이 추정 데이터로서 사용할 수 있는 다이내믹 레인지를 부분적으로밖에 사용하고 있지 않기 때문에, 얻어지는 의사 입체 효과가 충분한 것이 아니었다.
예를 들면, 도 1을 참조하여 설명하면, 특허문헌 2에서는 R신호를 1/10로 하여 중첩하고 있기 때문에, 도 1에서는 R신호의 입력은 1/10로 되어 있다. 그리고, R신호의 평균치를 APL, 최대치를 MAX, 최소치를 MIN이라고 하면, 도 1의 하방에 도시한 확대도에 나타내는 바와 같이 R신호가 실제로 사용하고 있는 사용 레인지는 다이내믹 레인지보다도 상당히 좁은 범위로 되어 버린다. 따라서, 다이내믹 레인지를 부분적으로밖에 사용하고 있지 않기 때문에, 충분한 의사 입체 효과를 얻을 수 없었다.
일본공개특허공보 평9-185712호 일본공개특허공보 2006-185033호
본 발명은, 전술한 실정을 감안하여 제안된 것으로, 다이내믹 레인지를 최대한으로 활용하여 충분한 의사 입체 효과를 얻을 수 있는 깊이 추정 데이터 생성 장치, 깊이 추정 데이터 생성 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체 및, 의사 입체 화상 표시 장치를 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위해, 본 발명에 따른 깊이 추정 데이터 생성 장치는, 화상의 휘도 신호 성분의 평균 휘도를 검출하여 평균치 데이터를 생성하는 평균치 검출부와, 상기 화상의 휘도 신호 성분의 최소 휘도를 검출하여 최소치 데이터를 생성하는 최소치 검출부와, 상기 화상의 휘도 신호 성분의 최대 휘도를 검출하여 최대치 데이터를 생성하는 최대치 검출부와, 상기 화상의 휘도 신호 성분과 상기 평균치 데이터와의 차분을 구하여 차분 데이터를 생성하는 차분 데이터 생성부와, 상기 최소치 데이터를 이용한 상기 차분 데이터가 시프트량의 최소치를 갖고, 상기 차분 데이터가 0에 가까워짐에 따라 상기 시프트량이 상기 최소치로부터 0에 가까워지는 값이 되는 부(負)의 시프트량을 생성하는 부의 시프트량 생성부와, 상기 최대치 데이터를 이용한 상기 차분 데이터가 시프트량의 최대치를 갖고, 상기 차분 데이터가 0에 가까워짐에 따라 상기 시프트량이 상기 최대치로부터 0에 가까워지는 값이 되는 정(正)의 시프트량을 생성하는 정의 시프트량 생성부와, 상기 부의 시프트량과 상기 정의 시프트량을, 상기 화상으로부터 의사 입체 화상을 생성하기 위한 깊이 추정 데이터로서 출력하는 깊이 추정 데이터 출력부를 구비하고 있는 것을 특징으로 한다.
또한, 본 발명에 따른 깊이 추정 데이터 생성 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체에 있어서, 상기 깊이 추정 데이터 생성 프로그램은, 화상의 휘도 신호 성분의 평균 휘도를 검출하여 평균치 데이터를 생성하는 평균치 검출 스텝과, 상기 화상의 휘도 신호 성분의 최소 휘도를 검출하여 최소치 데이터를 생성하는 최소치 검출 스텝과, 상기 화상의 휘도 신호 성분의 최대 휘도를 검출하여 최대치 데이터를 생성하는 최대치 검출 스텝과, 상기 화상의 휘도 신호 성분과 상기 평균치 데이터와의 차분을 구하여 차분 데이터를 생성하는 차분 데이터 생성 스텝과, 상기 최소치 데이터를 이용한 상기 차분 데이터가 시프트량의 최소치를 갖고, 상기 차분 데이터가 0에 가까워짐에 따라 상기 시프트량이 상기 최소치로부터 0에 가까워지는 값이 되는 부의 시프트량을 생성하는 부의 시프트량 생성 스텝과, 상기 최대치 데이터를 이용한 상기 차분 데이터가 시프트량의 최대치를 갖고, 상기 차분 데이터가 0에 가까워짐에 따라 상기 시프트량이 상기 최대치로부터 0에 가까워지는 값이 되는 정의 시프트량을 생성하는 정의 시프트량 생성 스텝과, 상기 부의 시프트량과 상기 정의 시프트량을, 상기 화상으로부터 의사 입체 화상을 생성하기 위한 깊이 추정 데이터로서 출력하는 깊이 추정 데이터 출력 스텝을 컴퓨터에 실행시키는 것을 특징으로 한다.
또한, 본 발명에 따른 의사 입체 화상 표시 장치는, 깊이 정보가 명시적으로도 또는 스테레오 화상과 같이 암시적으로도 부여되어 있지 않은 비입체 화상으로부터 의사 입체 화상을 생성하여 표시하는 의사 입체 화상 표시 장치로서, 깊이 추정 데이터를 생성하는 깊이 추정 데이터 생성 장치와, 상기 깊이 추정 데이터와 상기 비입체 화상을 이용하여, 상기 비입체 화상의 텍스처의 시프트를 대응 부분의 깊이에 따른 양만큼 행함으로써 의사 입체 화상을 표시하기 위한 다른 시점 화상을 생성하는 스테레오 페어 생성 장치와, 상기 다른 시점 화상과 상기 비입체 화상을 이용하여 의사 입체 화상을 표시하는 스테레오 표시 장치를 구비하고 있는 것을 특징으로 한다.
본 발명에 따른 깊이 추정 데이터 생성 장치 및 깊이 추정 데이터 생성 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체에 의하면, 비입체 화상의 평균 휘도를 기준으로 하여 비입체 화상의 최대치 및 최소치를 다이내믹 레인지의 상한 및 하한에 대응시켜 보정하기 때문에, 다이내믹 레인지를 최대한으로 활용하여 충분한 의사 입체 효과를 얻을 수 있다.
또한, 본 발명에 따른 의사 입체 화상 표시 장치에 의하면, 비입체 화상의 평균 휘도를 기준으로 하여 비입체 화상의 최대치 및 최소치를 다이내믹 레인지의 상한 및 하한에 대응하여 보정하고, 보정된 깊이 추정 데이터를 이용하여 의사 입체 화상을 생성하여 표시하기 때문에, 다이내믹 레인지를 최대한으로 활용하여 충분한 의사 입체 효과가 있는 화상을 표시할 수 있다.
도 1은 종래의 의사 입체 화상 생성 장치에 의한 과제를 설명하기 위한 도면이다.
도 2는 본 발명의 실시 형태에 따른 의사 입체 화상 표시 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시 형태에 따른 의사 입체 화상 표시 장치에 입력되는 화상의 일 화면 내에 있어서의 판정 영역의 일 예를 나타내는 도면이다.
도 4는 본 발명의 실시 형태에 따른 깊이 추정 데이터 생성 장치의 리크형 적분부의 구성을 나타내는 블록도이다.
도 5는 본 발명의 실시 형태에 따른 깊이 추정 데이터 생성 장치에 의한 깊이 추정 데이터의 생성 처리의 처리 순서를 나타내는 플로우 차트이다.
도 6은 본 발명의 실시 형태에 따른 깊이 추정 데이터 생성 장치에 의해 산출된 깊이 추정 데이터의 일 예를 나타내는 도면이다.
도 7은 본 발명의 실시 형태에 따른 깊이 추정 데이터 생성 장치에 의해 산출된 깊이 추정 데이터의 일 예를 나타내는 도면이다.
도 8은 본 발명의 실시 형태에 따른 깊이 추정 데이터 생성 장치에 의해 산출된 깊이 추정 데이터의 일 예를 나타내는 도면이다.
도 9는 본 발명의 실시 형태에 따른 깊이 추정 데이터 생성 장치에 의해 산출된 깊이 추정 데이터의 일 예를 나타내는 도면이다.
도 10은 본 발명의 실시 형태에 따른 깊이 추정 데이터 생성 장치에 의한 효과를 설명하기 위한 도면이다.
이하, 본 발명의 실시 형태에 대해서 도면을 참조하여 설명한다. 도 2는 본 실시 형태에 따른 의사 입체 화상 표시 장치의 구성을 나타내는 블록도이다.
도 2에 나타내는 바와 같이, 본 실시 형태에 따른 의사 입체 화상 표시 장치는, 깊이 추정 데이터 생성 장치(1)와, 스테레오 페어(pair) 생성 장치(2)와, 스테레오 표시 장치(3)를 구비하고 있고, 깊이 정보가 명시적으로도 또는 스테레오 화상과 같이 암시적으로도 부여되어 있지 않고, 시계열적으로 연속된 복수의 화상으로 구성된 비입체 화상의 영상 신호(휘도 신호(Y), 색차 신호(B-Y, R-Y))로부터 왼쪽눈 화상 신호와 오른쪽눈 화상 신호를 생성하고, 스테레오 표시 장치(3)에서 왼쪽눈 화상 신호와 오른쪽눈 화상 신호를 이용하여 의사 입체 화상을 표시하도록 구성되어 있다.
이하, 의사 입체 화상 표시 장치를 구성하는 깊이 추정 데이터 생성 장치(1)와 스테레오 페어 생성 장치(2)와 스테레오 표시 장치(3)의 각 장치에 대해서 설명한다.
(깊이 추정 데이터 생성 장치의 구성)
도 2에 나타내는 바와 같이, 본 실시 형태에 따른 깊이 추정 데이터 생성 장치(1)는, 노이즈 성분의 영향을 제거하는 로 패스 필터(11)와, 입력된 비입체 화상의 특징을 검출하여 화상 특징 데이터를 출력하는 화상 특징 검출부(12)와, 깊이 추정 데이터를 생성하는 깊이 추정부(13)를 구비하고 있다. 또한, 로 패스 필터(11)는 필수의 것은 아니고 생략해도 좋다.
여기에서, 화상 특징 검출부(12)는, 비입체 화상의 휘도 신호 성분의 평균 휘도를 검출하여 평균치(APL) 데이터를 생성하는 평균치 검출부(121)와, 비입체 화상의 휘도 신호 성분의 최소 휘도를 검출하여 최소치(MIN) 데이터를 생성하는 최소치 검출부(122)와, 비입체 화상의 휘도 신호 성분의 최대 휘도를 검출하여 최대치(MAX) 데이터를 생성하는 최대치 검출부(123)를 구비하고 있다.
도 3은, 입력되는 비입체 화상의 일화면(f) 내에 형성된 판정 영역(fa)의 일 예를 나타내는 도면이다. 도 3에 나타내는 바와 같이, 화상 특징 검출부(12)는, 1 필드 또는 1 프레임인 화면(f) 내에 소정의 판정 영역(fa)을 형성하고, 판정 영역(fa) 내의 휘도 레벨에 기초하여, 화상 특징 데이터로서 평균치 데이터, 최소치 데이터, 최대치 데이터를 생성한다.
또한, 본 실시 형태에서는 1 필드 또는 1 프레임마다 화상 특징 데이터를 생성하지만, 복수 필드 또는 복수 프레임마다 화상 특징 데이터를 생성해도 좋고, 화면의 소정 단위(시간 단위)마다 화상 특징 데이터를 생성하면 좋다. 단, 1 필드 또는 1 프레임마다 화상 특징 데이터를 생성하는 것이 바람직하다. 또한 판정 영역(fa)은, 유효 영상 기간 내이면 크기는 임의이다.
깊이 추정부(13)는, 화상 특징 데이터에 리크형 적분(leaky integration) 처리를 행하는 리크형 적분부(131)와, 비입체 화상의 휘도 신호 성분과 평균치 데이터와의 차분을 구하여 차분 데이터를 생성하는 차분 데이터 생성부(132)와, 최소치 데이터를 이용하여, 차분 데이터의 0보다 작은 값을 다이내믹 레인지의 하한에 대응시켜 보정하여 부(負)의 시프트량을 생성하는 부의 시프트량 생성부(133)와, 최대치 데이터를 이용하여, 차분 데이터의 0보다 큰 값을 다이내믹 레인지의 상한에 대응시켜 보정하여 정(正)의 시프트량을 생성하는 정의 시프트량 생성부(134)와, 부의 시프트량과 정의 시프트량을 깊이 추정 데이터로서 출력하는 깊이 추정 데이터 출력부(135)를 구비하고 있다. 깊이 추정 데이터는, 깊이 정보가 부여되어 있지 않은 화상(비입체 화상이라고도 말함)으로부터 의사 입체 화상을 생성하기 위한 데이터이다.
여기에서, 도 4를 참조하여 리크형 적분부(131)의 회로 구성을 설명한다. 도 4에 나타내는 바와 같이, 리크형 적분부(131)는, 가산기(31)와, 레지스터(32)와, 승산기(33, 34)를 구비하고 있다. 그리고, 화상 특징 검출부(12)로부터 화상 특징 데이터인 평균치 데이터, 최소치 데이터, 최대치 데이터가 입력되면, 시간 방향으로 리크형의 적분 처리를 실행한다. 단, 도 4에서는 일 예로서 평균치 데이터가 입력된 경우에 대해서 설명한다.
도 4에 나타내는 바와 같이, 입력 평균치 데이터(APL_in)가 입력되면, 가산기(31)는, 입력 평균치 데이터(APL_in)에 대하여, 레지스터(32)로부터 출력된 데이터에 승산기(33)에서 15/16이 승산된 값을 가산한다. 가산기(31)가 가산한 값은 레지스터(32)에 저장되고, 다음의 필드 또는 프레임에 있어서의 입력 평균치 데이터(APL_in)가 입력되었을 때에 전술한 바와 같이 승산기(33), 가산기(31)에서 이용된다. 다음으로, 레지스터(32)로부터 출력된 데이터는 승산기(34)에서 1/16이 승산되고, 최종적인 출력 데이터인 출력 평균치 데이터(APL_out)가 출력된다.
이와 같이, 리크형 적분부(131)에서 리크형 적분 처리를 행함으로써, 화상을 온화하게 변화시켜 보다 자연스러운 화질을 제공할 수 있다.
(깊이 추정 데이터의 생성 처리의 순서)
다음으로, 본 실시 형태에 따른 깊이 추정 데이터 생성 장치에 의한 깊이 추정 데이터의 생성 처리의 순서를 도 5의 플로우 차트를 참조하여 설명한다.
도 5에 나타내는 바와 같이, 스텝 S101에 있어서 화상 특징 검출부(12)는, 로 패스 필터(11)에서 노이즈가 제거된 입력 영상 신호의 휘도 신호 성분으로부터 평균 휘도, 최소 휘도, 최대 휘도를 검출하여 화상 특징 데이터를 생성한다. 화상 특징 데이터에는 평균 휘도를 나타내는 평균치 데이터(APL), 최소 휘도를 나타내는 최소치 데이터(MIN), 최대 휘도를 나타내는 최대치 데이터(MAX)가 포함되어 있다. 그리고, 스텝 S102에 있어서 리크형 적분부(131)는, 화상 특징 데이터에 대하여 시간 방향의 리크형 적분 처리를 행한다.
다음으로, 스텝 S103에서는, 차분 데이터 생성부(132)가 입력 영상 신호의 휘도 신호 성분과 평균치 데이터(APL)와의 차분을 식 (1)에 의해 구하여 차분 데이터를 생성한다.
Y_sub(j) ＝ j－APL (1)
여기에서, Y_sub(j)는 차분 데이터, j는 입력 영상 신호의 휘도 신호 성분, APL은 평균치 데이터이다.
차분 데이터 생성부(132)에서 생성된 차분 데이터(Y_sub(j))에 기초하여, 스텝 S104에 있어서 부의 시프트량 생성부(133)는, 식 (2)에 나타내는 최소치 데이터에 의한 정규화 처리를 행한다.
Y_sub(j) ＜ 0의 경우
S(j)－ = Y_sub(j) × LowLim / (MIN－APL) (2)
여기에서, S(j)－는 부의 시프트량, LowLim은 하한 리미트 문턱값, MIN은 최소치 데이터이다.
최소치 데이터(MIN)에 의한 정규화 처리는, 최소치 데이터(MIN)를 이용하여, 차분 데이터(Y_sub(j))의 0보다 작은 값을 미리 설정된 다이내믹 레인지의 하한에 대응시켜 보정하고, 부의 시프트량(S(j)－)을 생성하는 것이다. 즉, 차분 데이터(Y_sub(j))가 (MIN－APL)의 값을 취하면, 최소치 데이터(MIN)를 갖는 휘도 신호 성분의 시프트량(S(j))(부의 시프트량(S(j)－))이 하한 리미트 문턱값(LowLim)에 대응될 수 있다. 또한 차분 데이터(Y_sub(j))가 (MIN－APL)보다 크고 또한 0 미만인 값을 취하면, 최소치 데이터(MIN)보다 커지고, 또한 평균치 데이터(APL)보다 작은 데이터를 갖는 휘도 신호 성분의 시프트량(S(j))은 하한 리미트 문턱값(LowLim)보다 크고 또한 0 미만인 값에 대응될 수 있다.
도 6의 (a)는, 입력 영상 신호의 휘도 신호 성분(Y_in(j))과 출력 영상 신호의 휘도 신호 성분(Y_out(j))의 관계를 나타낸다. 예를 들면, 도 6의 (a)를 참조하여 설명하면, 평균 휘도가 APL, 최소 휘도가 MIN, 최대 휘도가 MAX의 영상 신호(휘도 신호)가 입력된 경우에, 차분 데이터(Y_sub(j))를 구하여 정규화 처리를 행하면, 도 6의 (b)에 나타내는 MIN에서 APL까지의 값이 부의 시프트량(S(j)－)이 된다.
도 6의 (b)에 나타내는 바와 같이, 입력 휘도 신호(j)가 평균치 데이터(APL)에 대응하는 휘도치를 갖는 경우에는 부의 시프트량(S(j)－)은 0이 되고, 입력 휘도 신호(j)가 최소치 데이터(MIN)에 대응하는 휘도치를 갖는 경우에는 부의 시프트량(S(j)－)은 하한 리미트 문턱값(LowLim)이 된다. 따라서, 하한 리미트 문턱값(LowLim)을 다이내믹 레인지의 하한으로 미리 설정해 둠으로써, 부의 시프트량(S(j)－)을 다이내믹 레인지의 하한까지 확대할 수 있다.
여기에서 종래와 비교하면, 정규화 처리를 행하지 않는 종래의 방법에서는, 입력 휘도 신호(j)가 최소 휘도(MIN)일 때의 시프트량은 반드시 다이내믹 레인지의 하한이 된다고는 할 수 없기 때문에, 다이내믹 레인지의 전체를 활용할 수는 없다. 그러나, 본 실시 형태에서는 정규화 처리를 행함으로써 도 6의 (b)에 나타내는 바와 같이, 입력 휘도 신호(j)가 최소 휘도(MIN)일 때에 부의 시프트량(S(j)－)이 하한 리미트 문턱값(LowLim)이 되기 때문에, 하한 리미트 문턱값(LowLim)을 미리 다이내믹 레인지의 하한으로 설정해 두면 다이내믹 레인지 전체를 충분히 이용할 수 있다.
다음으로 스텝 S105에 있어서 정의 시프트량 생성부(134)는 식 (3)으로 나타내는 최대치 데이터에 의한 정규화 처리를 행한다.
Y_sub(j) ＞ 0의 경우
S(j)＋ ＝ Y_sub(j) × UpLim / (MAX－APL) (3)
여기에서, S(j)＋는 정의 시프트량, UpLim은 상한 리미트 문턱값, MAX는 최대치 데이터이다.
최대치 데이터(MAX)에 의한 정규화 처리는, 최대치 데이터(MAX)를 이용하여, 차분 데이터(Y_sub(j))의 0보다 큰 값을 미리 설정된 다이내믹 레인지의 상한에 대응시켜 보정하고, 정의 시프트량(S(j)＋)을 생성하는 것이다. 전술한 바와 같이 차분 데이터(Y_sub(j))를 구하여 정규화 처리를 행하면, 도 6의 (b)에 나타내는 APL에서 MAX까지 값이 정의 시프트량(S(j)＋)이 된다. 즉, 차분 데이터(Y_sub(j))가 (MAX－APL)의 값을 취하면, 최대치 데이터(MAX)를 갖는 휘도 신호 성분의 시프트량(S(j))(정의 시프트량(S(j)＋))이 상한 리미트 문턱값(UpLim)에 대응될 수 있다.또한, 차분 데이터(Y_sub(j))가 (MAX－APL)보다 작고 또한 0보다 큰 값을 취하면, 최대치 데이터(MAX)보다 작고 또한 평균치 데이터(APL)보다 큰 데이터를 갖는 휘도 신호 성분의 시프트량(S(j))이, 상한 리미트 문턱값(UpLim)보다 작고 또한 0보다 큰 값에 대응될 수 있다.
도 6의 (b)에 나타내는 바와 같이, 입력 휘도 신호(j)가 평균치 데이터(APL)에 대응하는 휘도치를 갖는 경우에는 정의 시프트량(S(j)＋)은 0이 되고, 입력 휘도 신호(j)가 최대치 데이터(MAX)에 대응하는 휘도치를 갖는 경우에는 정의 시프트량(S(j)＋)은 상한 리미트 문턱값(UpLim)이 된다. 따라서, 상한 리미트 문턱값(UpLim)을 다이내믹 레인지의 상한으로 미리 설정해 둠으로써, 정의 시프트량(S(j)＋)을 다이내믹 레인지의 상한까지 확대할 수 있다.
여기에서 종래와 비교하면, 정규화 처리를 행하지 않는 종래의 방법에서는, 입력 휘도 신호(j)가 최대 휘도(MAX)일 때의 시프트량은 반드시 다이내믹 레인지의 상한이 된다고는 할 수 없기 때문에, 다이내믹 레인지의 전체를 활용할 수는 없다. 그러나, 본 실시 형태에서는 정규화 처리를 행함으로써 도 6의 (b)에 나타내는 바와 같이, 입력 휘도 신호(j)가 최대 휘도(MAX)일 때에 정의 시프트량(S(j)＋)이 상한 리미트 문턱값(UpLim)이 되기 때문에, 상한 리미트 문턱값(UpLim)을 다이내믹 레인지의 상한으로 설정해 두면 다이내믹 레인지 전체를 충분히 이용할 수 있다.
부의 시프트량(S(j)－)과 정의 시프트량(S(j)＋)이 생성되면, 다음으로 스텝 S106에 있어서 깊이 추정 데이터 출력부(135)가 식 (4)로 나타내는 시프트량(S(j))을 산출하고, 시프트량(S(j))을 깊이 추정 데이터로서 출력한다.
S(j) ＝ S(j)－ ＋ S(j)＋ (4)
또한, 정의 시프트량(S(j)＋)은 튀어나오는(볼록) 방향으로 작용하고, 부의 시프트량(S(j)－)은 움푹 꺼지는(오목) 방향으로 작용하는 것이다. 이 특성을 결정하는 요인으로서는, 그레이 스케일에 있어서, 명도가 높은 흰색은 팽창색으로 크게 확대되어 보이지만, 명도가 낮은 검정은 수축색으로 작게 보이기 때문이다.
다음으로, 입력된 휘도 신호의 분포가 다양하게 변화한 경우의 깊이 추정 데이터의 생성예에 대해서 도 7∼9를 참조하여 설명한다.
도 7에, 휘도 신호(j)의 데이터가 중간 휘도에 집중되어 있는 화상에 대해서 깊이 추정 데이터(시프트량(S))를 생성한 경우를 나타낸다. 도 7의 (a)에 나타내는 바와 같이, 입력 영상 신호의 휘도 신호 성분은 좁은 레인지(MAX－MIN)에 집중되어 있지만, 정규화 처리를 행함으로써 도 7의 (b)에 나타내는 바와 같이 확대되어, 깊이 추정 데이터에서는 하한 리미트 문턱값(LowLim)에서 상한 리미트 문턱값(UpLim)까지 다이내믹 레인지를 최대한 활용하고 있다.
도 8에, 휘도 신호(j)의 데이터가 고휘도에 많이 분포되어 있는 화상에 대해서 깊이 추정 데이터(시프트량(S))를 생성한 경우를 나타낸다. 도 8의 (a)에 나타내는 바와 같이, 평균 휘도 데이터(APL)를 검출하여 화상 정보가 많이 포함되어 있는 APL의 레벨을 기점으로 하고 있기 때문에, 고휘도에 많이 포함되어 있는 필요한 정보를 보존한 채 도 8의 (b)에 나타낸 깊이 추정 데이터로 전환하는 것이 가능하게 되어 있다.
도 9에, 휘도 신호(j)의 데이터가 저휘도에 많이 분포되어 있는 화상에 대해서 깊이 추정 데이터(시프트량(S))를 생성한 경우를 나타낸다. 도 9의 (a)에 나타내는 바와 같이, 평균 휘도 데이터(APL)를 검출하여 화상 정보가 많이 포함되어 있는 APL의 레벨을 기점으로 하고 있기 때문에, 저휘도에 많이 포함되어 있는 필요한 정보를 보존한 채 도 9의 (b)에 나타낸 깊이 추정 데이터로 전환하는 것이 가능하게 되어 있다. 이에 따라 깊이감을 향상시키는 효과가 있다.
전술한 바와 같이 스텝 S106의 처리가 종료되면, 그 후는 스텝 S101로 되돌아가 스텝 S106까지의 처리를 반복하여 행하여, 모든 입력 영상 신호에 대해서 깊이 추정 데이터가 생성되면, 본 실시 형태에 따른 깊이 추정 데이터 생성 장치(1)에 의한 깊이 추정 데이터의 생성 처리는 종료된다.
(깊이 추정 데이터 생성 장치의 효과)
다음으로, 본 실시 형태에 따른 깊이 추정 데이터 생성 장치의 효과에 대해서, 도 10을 참조하여 설명한다.
도 10의 (a)에 나타내는 바와 같은 전체적으로 밝은 빈 화상이 입력 화상으로서 입력된 경우에 대해서 설명한다. 이 입력 화상의 화상 특징 데이터는, 도 10의 (b)에 나타내는 바와 같이 평균치 데이터(APL)에 대응하는 휘도치는 175, 최소치 데이터(MIN)에 대응하는 휘도치는 131, 최대치 데이터(MAX)에 대응하는 휘도치는 242이며, 종축에 나타내는 화소의 출현 빈도를 참조하여 알 수 있는 바와 같이 전체적으로 밝은 휘도(고휘도) 영역에 화상 화소가 모여 있는 것을 나타내고 있다.
여기에서, 종래의 시프트 처리를 시행한 화상을 도 10의 (c)에 나타낸다. 화상은 그레이 스케일로 표현한 것이며, 흑∼백을 256스텝으로 표시하여 흑(黑)측은 깊이(오목) 방향으로 이동하고, 백(白)측은 튀어나옴(볼록) 방향으로 이동한 것으로 한다. 도 10의 (d)는 횡축을 시프트량, 종축을 화소의 출현 빈도로 하여 나타낸 것이며, 다이내믹 레인지가 128을 중심으로 －24, ＋23의 범위(104∼151)로 한 경우이다. 도 10의 (d)에 나타내는 바와 같이, 시프트량은 128∼149의 좁은 범위만 사용되고 있지 않고, 도 10의 (c)에 나타내는 화상을 보면 알 수 있는 바와 같이 농담의 차이가 적은 입체 효과가 약한 출력 화상으로 되어 있다.
한편, 도 10의 (e)에 나타내는 본 발명에 따른 시프트 처리를 시행한 화상은, 도 10의 (f)에 나타내는 바와 같이 다이내믹 레인지(104∼151)의 대부분을 활용할 수 있게 되어 있다. 따라서, 도 10의 (e)에 나타내는 화상은 농담의 차이가 큰, 즉 시차가 큰 충분한 입체 효과를 가진 출력 화상으로 되어 있다. 이와 같이 본 실시 형태에 따른 깊이 추정 데이터 생성 장치(1)에 의하면, 다이내믹 레인지를 최대한으로 활용하여 충분한 의사 입체 효과를 얻을 수 있다.
(스테레오 페어 생성 장치, 스테레오 표시 장치의 구성)
전술한 바와 같이 깊이 추정 데이터 생성 장치(1)에 의해 깊이 추정 데이터가 생성되면, 깊이 추정 데이터에 기초하여 다른 시점의 화상을 생성하는 것이 가능해진다. 여기에서, 도 2를 참조하여, 본 실시 형태에 따른 스테레오 페어 생성 장치(2) 및 스테레오 표시 장치(3)의 구성을 설명한다.
도 2에 나타내는 바와 같이, 스테레오 페어 생성 장치(2)는, 깊이 추정부(13)에서 생성된 깊이 추정 데이터에 기초하여 입력되는 비입체 화상의 영상 신호의 텍스처(texture)를 시프트하는 텍스처 시프트부(21)와, 어클루전(occlusion)을 보상하는 어클루전 보상부(22)와, 포스트(post) 처리를 행하는 포스트 처리부(23)와, 왼쪽눈 화상 신호 생성부(24)와, 오른쪽눈 화상 신호 생성부(25)를 구비하고 있다.
그리고, 스테레오 페어 생성 장치(2)에서 생성된 왼쪽눈 화상 신호와 오른쪽눈 화상 신호는, 스테레오 표시 장치(3)에 입력되고, 스테레오 표시 장치(3)에서 의사적인 입체 화상으로서 표시된다.
(스테레오 페어 생성 장치(2)의 동작의 일 예)
스테레오 페어 생성 장치(2)에서는, 깊이 추정 데이터 생성 장치(1)에 의해 생성된 계조 보정 곡선에 기초하여 추정된 깊이 신호와, 영상 신호를 기초로, 다른 시점의 화상을 생성한다. 예를 들면, 왼쪽으로 시점 이동하는 경우, 화면보다 앞쪽에 표시하는 것에 대해서는, 가까운 물건일수록 화상을 보는 자의 내측(코측)에 보이기 때문에, 대응 부분의 텍스처를 내측 즉 오른쪽으로 깊이에 따른 양만큼 이동한다. 이에 대하여, 화면보다 안쪽에 표시하는 것에 대해서는, 가까운 물건일수록 화상을 보는 자의 외측에 보이기 때문에, 대응 부분의 텍스처를 왼쪽으로 깊이에 따른 양만큼 이동한다. 이것을 왼쪽눈 화상, 원화상을 오른쪽눈 화상으로 함으로써 스테레오 페어가 구성된다.
즉, 도 2에 나타내는 본 실시 형태의 스테레오 페어 생성 장치(2)에서는, 우선 텍스처 시프트부(21)가 깊이 추정 데이터 생성 장치(1)의 깊이 추정부(13)로부터 출력된 깊이 추정 데이터에 대해서, 작은 값, 즉 안쪽에 위치하는 것부터 순서대로, 그 값에 대응하는 부분의 영상 신호의 텍스처를, 깊이 신호가 나타내는 시프트량(S) 화소분만큼, 예를 들면 오른쪽으로 시프트한다. 또한, 깊이 신호가 부의 경우에는, 깊이 신호가 나타내는 그 시프트량(S) 화소분만큼 왼쪽으로 시프트한다.
텍스처 시프트부(21)에 있어서의 시프트량(S)에 기초한 영상 신호의 텍스처의 시프트 동작은, 비입체 화상의 영상 신호의 텍스처의 시프트에 대응하는 것이다. 바꿔 말하면, 비입체 화상의 각 화소를, 깊이 추정 데이터의 값인 시프트량(S)의 값에 따라서 각각을 좌우로 이동하는 처리이다.
여기에서, 시프트를 행하는 것에 의한 화상 중의 위치 관계의 변화에 의해, 텍스처가 존재하지 않는 부분, 즉 어클루전이 발생하는 경우가 있다. 이러한 부분에 대해서는, 어클루전 보상부(22)가, 영상 신호의 대응 부분 주변의 영상 신호에 의해 충전하거나, 또는 공지의 문헌(야마다 쿠니오, 모치즈키 켄지, 아이자와 키요하루, 사이토 타카히로: "영역 경합법에 의해 분할된 화상의 텍스처의 통계량에 기초하는 어클루전 보상", 영정학지, Vol.56, No.5, pp.863-866(2002. 5)) 등에 기재된 수법으로 충전한다.
어클루전 보상부(22)에서 어클루전 보상된 화상은, 포스트 처리부(23)에 의해 평활화 등의 포스트 처리를 시행함으로써, 그 이전의 처리에 있어서 발생한 노이즈 등을 경감하고, 왼쪽눈 화상 신호 생성부(24)가 왼쪽눈 화상 신호로서 출력한다. 한편으로, 오른쪽눈 화상 신호 생성부(25)는, 영상 신호를 오른쪽눈 화상 신호로서 출력한다.
이와 같이 하여, 스테레오 페어 생성 장치(2)는, 깊이 추정 데이터 생성 장치(1)에 의해 생성된 계조 보정 곡선에 기초하여 추정한 깊이 추정 데이터와, 영상 신호를 기초로, 왼쪽눈 화상 신호와 오른쪽눈 화상 신호와의 스테레오 페어를 생성할 수 있다. 그리고, 이들 왼쪽눈 화상 신호와 오른쪽눈 화상 신호는, 스테레오 표시 장치(3)에 출력된다. 그리고, 스테레오 표시 장치(3)에서는, 스테레오 페어에 의해 화면 전체로서 의사적인 입체감을 향상시킨 의사 입체 화상을 표시하는 것이 가능해진다.
또한, 스테레오 페어에 관하여, 좌우 반전함으로써 왼쪽눈 화상 신호를 원화상, 오른쪽눈 화상 신호를 다른 시점 화상으로 하는 스테레오 페어를 구성해도 좋다. 또한, 상기 처리에서는, 오른쪽눈 화상 신호 또는 왼쪽눈 화상 신호의 어느 쪽을 영상 신호, 다른 한쪽을 생성된 다른 시점 화상 신호로 하는 스테레오 페어를 구성하고 있지만, 좌우 어느 쪽에 대해서도 다른 시점 화상 신호를 이용하는, 즉, 오른쪽으로 시점 이동한 다른 시점 화상 신호와 왼쪽으로 시점 이동한 다른 시점 화상 신호를 이용하여 스테레오 페어를 구성하는 것도 가능하다.
(스테레오 표시 장치(3)의 동작의 일 예)
도 2에 나타내는 본 실시 형태에 따른 스테레오 표시 장치(3)는, 예를 들면, 편광 안경을 이용한 프로젝션 시스템, 혹은 시분할 표시와 액정 셔터 안경을 조합한 프로젝션 시스템 또는 디스플레이 시스템, 렌티큘러 방식의 스테레오 디스플레이, 애너글리프 방식의 스테레오 디스플레이, 헤드 마운트 디스플레이나 스테레오 화상의 각 화상에 대응한 2대의 프로젝터에 의한 프로젝터 시스템이며, 스테레오 페어 생성 장치(2)에 의해 생성된 왼쪽눈 화상 신호와 오른쪽눈 화상 신호가 입력되어 디스플레이 등에 의사 입체 화상을 표시한다.
또한, 상기 실시 형태의 설명에서는, 스테레오 페어 생성 장치(2)로서 왼쪽눈 화상 신호와 오른쪽눈 화상 신호의 2시점에서의 예를 설명했지만, 본 발명은 이에 한정되는 것은 아니다. 즉, 2시점 이상의 표시가 가능한 표시 장치로 표시하는 경우에는, 그 시점수에 따른 수의 다른 시점 화상을 생성하도록 구성해도 물론 좋다.
또한, 상기와 같이 2시점 이상의 표시가 가능한 표시 장치를 이용한 다(多)시점 입체 화상 표시 시스템의 구축도 가능하다. 본 입체 표시 시스템에서는 음성 출력을 장비(裝備)하는 형태의 것을 고려해도 좋다. 이 경우, 정지 화상 등 음성 정보를 갖지 않는 화상 콘텐츠에 대해서는, 화상에 걸맞는 환경음을 부가하는 형태의 것을 생각할 수 있다.
또한, 본 실시 형태에서는, 도 2에 나타내는 바와 같이 깊이 추정 데이터 생성 장치(1)와, 스테레오 페어 생성 장치(2)와, 스테레오 표시 장치(3)를 하드웨어에 의해 구성하는 경우에 대해서 설명했지만, 본 발명에서는, 하드웨어에 의해 구성한 것에 한정되는 것은 아니고, 예를 들면, CPU와, 그 CPU를 전술한 바와 같이 동작시키기 위한 컴퓨터 프로그램의 소프트웨어에 의해 깊이 추정 데이터 생성 장치(1), 스테레오 페어 생성 장치(2) 및 스테레오 표시 장치(3)의 기능을 달성하도록 해도 물론 좋다. 이 경우, 컴퓨터 프로그램은, 기록 매체로부터 컴퓨터에 취입되어도 좋고, 네트워크 경유로 컴퓨터에 취입되도록 해도 좋다.
이상, 본 발명을 일 실시 형태에 의해 설명했지만, 상기 실시 형태는, 본 발명의 기술적 사상을 구체화하기 위한 장치나 방법을 예시하기 위한 것으로서, 본 발명의 기술적 사상은, 구성 물품의 재질, 형상, 구조, 배치 등을 특정하는 것은 아니다. 본 발명의 기술적 사상은, 특허청구의 범위에 있어서 여러 가지의 변경을 가할 수 있다.
1: 깊이 추정 데이터 생성 장치
11: 로패스 필터
12: 화사 특징 검출부
121: 평균치(APL) 검출부
122: 최소치(MIN) 검출부
123: 최대치(MAX) 검출부
13: 깊이 추정부
131: 리크형 적분부
132: 차분 데이터 생성부
133: 부의 시프트량 생성부
134: 정의 시프트량 생성부
135: 깊이 추정 데이터 출력부
2: 스테레오 페어 생성장치
21: 텍스처 시프트부
22: 어클루전 보상부
23: 포스트 처리부
24: 왼쪽눈 화상 신호 생성부
25: 오른쪽눈 화상 신호 생성부
3: 스테레오 표시장치
31: 가산기
32: 레지스터
33, 34: 승산기

Claims (3)

  1. 화상의 휘도 신호 성분의 평균 휘도를 검출하여 평균치 데이터를 생성하는 평균치 검출부와,
    상기 화상의 휘도 신호 성분의 최소 휘도를 검출하여 최소치 데이터를 생성하는 최소치 검출부와,
    상기 화상의 휘도 신호 성분의 최대 휘도를 검출하여 최대치 데이터를 생성하는 최대치 검출부와,
    상기 화상의 휘도 신호 성분과 상기 평균치 데이터와의 차분을 구하여 차분 데이터를 생성하는 차분 데이터 생성부와,
    상기 최소치 데이터를 이용한 상기 차분 데이터가 시프트량의 최소치를 갖고, 상기 차분 데이터가 0에 가까워짐에 따라 상기 시프트량이 상기 최소치로부터 0에 가까워지는 값이 되는 부(負)의 시프트량을 생성하는 부의 시프트량 생성부와,
    상기 최대치 데이터를 이용한 상기 차분 데이터가 시프트량의 최대치를 갖고, 상기 차분 데이터가 0에 가까워짐에 따라 상기 시프트량이 상기 최대치로부터 0에 가까워지는 값이 되는 정(正)의 시프트량을 생성하는 정의 시프트량 생성부와,
    상기 부의 시프트량과 상기 정의 시프트량을, 상기 화상으로부터 의사 입체 화상을 생성하기 위한 깊이 추정 데이터로서 출력하는 깊이 추정 데이터 출력부를 구비하고 있는 것을 특징으로 하는 깊이 추정 데이터 생성 장치.
  2. 화상의 휘도 신호 성분의 평균 휘도를 검출하여 평균치 데이터를 생성하는 평균치 검출 스텝과,
    상기 화상의 휘도 신호 성분의 최소 휘도를 검출하여 최소치 데이터를 생성하는 최소치 검출 스텝과,
    상기 화상의 휘도 신호 성분의 최대 휘도를 검출하여 최대치 데이터를 생성하는 최대치 검출 스텝과,
    상기 화상의 휘도 신호 성분과 상기 평균치 데이터와의 차분을 구하여 차분 데이터를 생성하는 차분 데이터 생성 스텝과,
    상기 최소치 데이터를 이용한 상기 차분 데이터가 시프트량의 최소치를 갖고, 상기 차분 데이터가 0에 가까워짐에 따라 상기 시프트량이 상기 최소치로부터 0에 가까워지는 값이 되는 부의 시프트량을 생성하는 부의 시프트량 생성 스텝과,
    상기 최대치 데이터를 이용한 상기 차분 데이터가 시프트량의 최대치를 갖고, 상기 차분 데이터가 0에 가까워짐에 따라 상기 시프트량이 상기 최대치로부터 0에 가까워지는 값이 되는 정의 시프트량을 생성하는 정의 시프트량 생성 스텝과,
    상기 부의 시프트량과 상기 정의 시프트량을, 상기 화상으로부터 의사 입체 화상을 생성하기 위한 깊이 추정 데이터로서 출력하는 깊이 추정 데이터 출력 스텝을 컴퓨터에 실행시키는 것을 특징으로 하는 깊이 추정 데이터 생성 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  3. 깊이 정보가 명시적으로도 또는 스테레오 화상과 같이 암시적으로도 부여되어 있지 않은 비입체 화상으로부터 의사 입체 화상을 생성하여 표시하는 의사 입체 화상 표시 장치로서,
    깊이 추정 데이터를 생성하는 깊이 추정 데이터 생성 장치와,
    상기 깊이 추정 데이터 생성 장치는,
    화상의 휘도 신호 성분의 평균 휘도를 검출하여 평균치 데이터를 생성하는 평균치 검출부와,
    상기 화상의 휘도 신호 성분의 최소 휘도를 검출하여 최소치 데이터를 생성하는 최소치 검출부와,
    상기 화상의 휘도 신호 성분의 최대 휘도를 검출하여 최대치 데이터를 생성하는 최대치 검출부와,
    상기 화상의 휘도 신호 성분과 상기 평균치 데이터와의 차분을 구하여 차분 데이터를 생성하는 차분 데이터 생성부와,
    상기 최소치 데이터를 이용한 상기 차분 데이터가 시프트량의 최소치를 갖고, 상기 차분 데이터가 0에 가까워짐에 따라 상기 시프트량이 상기 최소치로부터 0에 가까워지는 값이 되는 부(負)의 시프트량을 생성하는 부의 시프트량 생성부와,
    상기 최대치 데이터를 이용한 상기 차분 데이터가 시프트량의 최대치를 갖고, 상기 차분 데이터가 0에 가까워짐에 따라 상기 시프트량이 상기 최대치로부터 0에 가까워지는 값이 되는 정(正)의 시프트량을 생성하는 정의 시프트량 생성부와,
    상기 부의 시프트량과 상기 정의 시프트량을, 상기 화상으로부터 의사 입체 화상을 생성하기 위한 깊이 추정 데이터로서 출력하는 깊이 추정 데이터 출력부를 구비하고 있고,
    상기 깊이 추정 데이터와 상기 비입체 화상을 이용하여, 상기 비입체 화상의 텍스처의 시프트를 대응 부분의 깊이에 따른 양만큼 행함으로써 의사 입체 화상을 표시하기 위한 다른 시점 화상을 생성하는 스테레오 페어 생성 장치와,
    상기 다른 시점 화상과 상기 비입체 화상을 이용하여 의사 입체 화상을 표시하는 스테레오 표시 장치를 구비하고 있는 것을 특징으로 하는 의사 입체 화상 표시 장치.
KR1020120006662A 2011-01-24 2012-01-20 깊이 추정 데이터 생성 장치, 깊이 추정 데이터 생성 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체 및, 의사 입체 화상 표시 장치 KR101329069B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011011836A JP5488482B2 (ja) 2011-01-24 2011-01-24 奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置
JPJP-P-2011-011836 2011-01-24

Publications (2)

Publication Number Publication Date
KR20130026370A KR20130026370A (ko) 2013-03-13
KR101329069B1 true KR101329069B1 (ko) 2013-11-14

Family

ID=46510936

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120006662A KR101329069B1 (ko) 2011-01-24 2012-01-20 깊이 추정 데이터 생성 장치, 깊이 추정 데이터 생성 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체 및, 의사 입체 화상 표시 장치

Country Status (5)

Country Link
US (1) US8976175B2 (ko)
JP (1) JP5488482B2 (ko)
KR (1) KR101329069B1 (ko)
CN (1) CN102611901B (ko)
DE (1) DE102012000946A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013114517A (ja) * 2011-11-29 2013-06-10 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CN103593641B (zh) * 2012-08-16 2017-08-11 株式会社理光 基于立体摄像机的物体检测方法和装置
KR102379182B1 (ko) * 2015-11-20 2022-03-24 삼성전자주식회사 연속 데이터 압축 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0461305B2 (ko) * 1983-02-28 1992-09-30 Matsushita Electric Ind Co Ltd
JP2006031171A (ja) * 2004-07-13 2006-02-02 Nippon Telegr & Teleph Corp <Ntt> 擬似的３次元データ生成方法、装置、プログラム、および記録媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09185712A (ja) 1995-12-28 1997-07-15 Kazunari Era 三次元画像データ作成方法
EP1326433B1 (en) * 2001-12-29 2012-04-11 Samsung Electronics Co., Ltd. Apparatus and method of controlling brightness of image
KR100512976B1 (ko) 2003-08-09 2005-09-07 삼성전자주식회사 화면의 콘트라스트를 향상시키는 블랙/화이트 스트레칭시스템 및 그의 스트레칭 방법
US7262767B2 (en) * 2004-09-21 2007-08-28 Victor Company Of Japan, Limited Pseudo 3D image creation device, pseudo 3D image creation method, and pseudo 3D image display system
JP4214527B2 (ja) 2004-12-27 2009-01-28 日本ビクター株式会社 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム
US8488868B2 (en) 2007-04-03 2013-07-16 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US8131098B2 (en) * 2007-07-06 2012-03-06 Panasonic Corporation Image processing device, image processing method, image processing system, program, storage medium, and integrated circuit
JP5347717B2 (ja) * 2008-08-06 2013-11-20 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR20100135032A (ko) 2009-06-16 2010-12-24 삼성전자주식회사 2차원 영상의 3차원 영상 변환 장치 및 방법
JP5402483B2 (ja) * 2009-10-02 2014-01-29 株式会社Ｊｖｃケンウッド 擬似立体画像作成装置及び擬似立体画像表示システム
JP5402504B2 (ja) * 2009-10-15 2014-01-29 株式会社Ｊｖｃケンウッド 擬似立体画像作成装置及び擬似立体画像表示システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0461305B2 (ko) * 1983-02-28 1992-09-30 Matsushita Electric Ind Co Ltd
JP2006031171A (ja) * 2004-07-13 2006-02-02 Nippon Telegr & Teleph Corp <Ntt> 擬似的３次元データ生成方法、装置、プログラム、および記録媒体

Also Published As

Publication number Publication date
DE102012000946A1 (de) 2012-07-26
JP5488482B2 (ja) 2014-05-14
KR20130026370A (ko) 2013-03-13
CN102611901B (zh) 2015-03-04
US20120188244A1 (en) 2012-07-26
US8976175B2 (en) 2015-03-10
CN102611901A (zh) 2012-07-25
JP2012155389A (ja) 2012-08-16

Similar Documents

Publication Publication Date Title
US9398289B2 (en) Method and apparatus for converting an overlay area into a 3D image
WO2011052389A1 (ja) 画像処理装置及び画像処理方法
JP2012138787A (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR20130001869A (ko) 영상처리장치 및 영상처리방법
JP2015012429A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP4214529B2 (ja) 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム
JP5692051B2 (ja) 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム
KR101329069B1 (ko) 깊이 추정 데이터 생성 장치, 깊이 추정 데이터 생성 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체 및, 의사 입체 화상 표시 장치
US8976171B2 (en) Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program
US9210396B2 (en) Stereoscopic image generation apparatus and stereoscopic image generation method
JP5127973B1 (ja) 映像処理装置、映像処理方法および映像表示装置
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
JP5500092B2 (ja) 奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置
JP5786807B2 (ja) 奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置
JP5459231B2 (ja) 擬似立体画像生成装置、擬似立体画像生成プログラム及び擬似立体画像表示装置
JP5780214B2 (ja) 奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置
JP2012084961A (ja) 奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラム
JP5691966B2 (ja) 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム
JP6028427B2 (ja) 奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置
JP6056459B2 (ja) 奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム
TW201310967A (zh) 立體影像處理裝置與方法
JP5888140B2 (ja) 奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム
JP6131256B2 (ja) 映像処理装置及びその映像処理方法
JP6131256B6 (ja) 映像処理装置及びその映像処理方法
JP2014072640A (ja) 奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161020

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171018

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181023

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191017

Year of fee payment: 7