KR101512255B1 - 입체시 동화상 생성 장치 및 입체시 동화상 생성 방법 - Google Patents

입체시 동화상 생성 장치 및 입체시 동화상 생성 방법 Download PDF

Info

Publication number
KR101512255B1
KR101512255B1 KR1020137015568A KR20137015568A KR101512255B1 KR 101512255 B1 KR101512255 B1 KR 101512255B1 KR 1020137015568 A KR1020137015568 A KR 1020137015568A KR 20137015568 A KR20137015568 A KR 20137015568A KR 101512255 B1 KR101512255 B1 KR 101512255B1
Authority
KR
South Korea
Prior art keywords
image
moving
moving image
predetermined
difference
Prior art date
Application number
KR1020137015568A
Other languages
English (en)
Other versions
KR20130117816A (ko
Inventor
도시로 오비쯔
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20130117816A publication Critical patent/KR20130117816A/ko
Application granted granted Critical
Publication of KR101512255B1 publication Critical patent/KR101512255B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

각각 시각 정보와 대응되는 복수의 화상을 포함하는 제1 동화상과 제2 동화상, 소정 화상을 저장하는 저장부와, 제1 시각 정보와 대응되는 제1 동화상의 제1 화상과 제2 동화상의 제2 화상과 소정 화상을 저장부로부터 추출하고, 제1 화상에 있어서의 소정 화상의 위치인 제1 위치를 산출하고, 제2 화상에 있어서의 소정 화상의 위치인 제2 위치를 산출하고, 제1 위치와 제2 위치와의 차분인 제1 차분량을 산출하고, 제1 동화상에 있어서의 제1 시각 정보의 다음 시각인 제2 시각 정보와 대응되는 제1 동화상의 제3 화상 및 제2 동화상의 제4 화상을 저장부로부터 추출하고, 제3 화상에 있어서의 소정 화상의 위치인 제3 위치를 산출하고, 제4 화상에 있어서의 소정 화상의 위치인 제4 위치를 산출하고, 제3 위치와 제4 위치와의 차분인 제2 차분량을 산출하고, 제2 차분량의 크기가 소정값 이상인 경우, 제2 화상과 제3 화상과 제1 차분량에 기초하여, 새로운 제4 화상을 생성하는 연산부를 구비하는 장치로 한다.

Description

입체시 동화상 생성 장치 및 입체시 동화상 생성 방법{STEREOSCOPIC MOTION PICTURE IMAGE GENERATION DEVICE AND STEREOSCOPIC MOTION PICTURE IMAGE GENERATION METHOD}
본 발명은, 입체시 동화상 생성 장치, 입체시 동화상 생성 방법, 입체시 동화상 생성 프로그램에 관한 것이다.
인접한 2개의 카메라로 촬영한 화상의 시차를 이용해서 입체시가 가능한 화상을 생성하는 입체시 화상 생성 장치가 있다. 입체시 화상 생성 장치는, 예를 들어, 인접한 2개의 카메라로 촬영한 화상 중, 한쪽의 카메라에 의한 화상을 좌안용 화상으로 하고, 다른 쪽의 카메라에 의한 화상을 우안용 화상으로 하고, 생성하고 표시하여, 시청자에게 입체적인 화상을 느끼게 한다.
동일한 대상물에 대하여, 좌안용 화상에 있어서의 위치와, 우안용 화상에 있어서의 위치의 차를, 시차라고 한다. 화상 내에 존재하는 2개의 대상물에서, 시차량이 다름으로써, 한쪽의 대상물이 다른 쪽의 대상물에 대하여 앞 또는 뒷쪽에 존재하는 것 같이 보인다. 시차량은, 시차의 크기이다.
도 1은, 입체시 화상의 예를 나타내는 도면이다. 도 1에 있어서, 화상(910)이 좌안용 화상이며, 화상(920)이 우안용 화상이다. 여기서, 좌안용 화상인 화상(910) 및, 우안용 화상인 화상(920)에는, 각각, 물체 A, 물체 B, 물체 C가 존재한다. 화상(910) 및 화상(920) 사이에 있어서의, 이들의 물체의 시차에 의해, 도 1의 입체시 화상을 보는 자에게는, 앞에서부터, 물체 A, 물체 B, 물체 C가 존재하는 것 같이 보인다.
국제 공개 제2004/043079호 일본 특허 출원 공개 제2009-135686호 공보 일본 특허 출원 공개 제2008-160382호 공보
동화상이 시청될 때, 움직임이 있는 대상물(오브젝트, 물체)이 주목받는 경우가 많다. 이 움직임이 있는 대상물의 시차량이, 동화상의 재생시 혹은 생성(녹화) 시의 이상 등에 의해, 커지는 경우가 있다. 이때, 입체시 동화상을 시청하는 사용자는, 이 시차량이 큰 대상물을, 우안용 동화상과 좌안용 동화상에서, 동일한 대상물로서, 인식할 수 없게 되는 경우가 있다.
본건 개시의 장치는, 우안용 동화상과 좌안용 동화상과의 사이의 시차량을 동적으로 조정하는 입체시 동화상 생성 장치를 제공하는 것을 과제로 한다.
개시의 입체시 동화상 생성 장치는, 상기 과제를 해결하기 위해서, 이하의 수단을 채용한다.
즉, 개시의 일 형태는,
각각 시각 정보와 대응되는 복수의 화상을 포함하는 제1 동화상, 각각 상기 시각 정보와 대응되는 복수의 화상을 포함하는 제2 동화상, 소정 화상, 및, 소정값을 저장하는 저장부와,
제1 시각 정보와 대응되는 제1 동화상의 제1 화상 및 제2 동화상의 제2 화상과, 상기 소정 화상을 상기 저장부에서 추출하고, 상기 제1 화상에 있어서의 상기 소정 화상의 존재 위치인 제1 위치를 산출하고, 상기 제2 화상에 있어서의 상기 소정 화상의 존재 위치인 제2 위치를 산출하고, 상기 제1 위치와 상기 제2 위치의 차분인 제1 차분량을 산출하고,
상기 제1 동화상에 있어서의 상기 제1 시각 정보의 다음 시각인 제2 시각 정보와 대응되는 제1 동화상의 제3 화상 및 제2 동화상의 제4 화상과, 상기 소정값을 상기 저장부에서 추출하고, 상기 제3 화상에 있어서의 상기 소정 화상의 존재 위치인 제3 위치를 산출하고, 상기 제4 화상에 있어서의 상기 소정 화상의 존재 위치인 제4 위치를 산출하고, 상기 제3 위치와 상기 제4 위치의 차분인 제2 차분량을 산출하고,
상기 제2 차분량의 크기가 상기 소정값 이상인 경우, 상기 제2 화상, 상기 제3 화상, 및, 상기 제1 차분량에 기초하여, 새로운 제4 화상을 생성하는 연산부를 구비하는 입체시 동화상 생성 장치로 한다.
개시의 장치에 따르면, 우안용 동화상과 좌안용 동화상과의 사이의 시차량을 동적으로 조정하는 입체시 동화상 생성 장치를 제공할 수 있다.
도 1은, 입체시 화상의 예를 나타내는 도면이다.
도 2는, 입체시 화상에 있어서의 시차를 설명하는 도면이다.
도 3은, MPEG2 데이터의 구조의 예를 나타내는 도면이다.
도 4는, I 픽쳐, P 픽쳐, B 픽쳐의 관계를 나타내는 도면이다.
도 5는, 입체시 동화상 생성 장치의 예를 나타내는 도면이다.
도 6은, 정보 처리 장치의 하드웨어 구성예를 나타내는 도면이다.
도 7은, 입체시 동화상 생성 장치의 동작 플로우의 예 (1)을 나타내는 도면이다.
도 8은, 입체시 동화상 생성 장치의 동작 플로우의 예 (2)를 나타내는 도면이다.
도 9는, 입체시 동화상 생성 장치의 동작 플로우의 예 (3)을 나타내는 도면이다.
도 10은, 스텝 S108의 처리를 설명하는 도면이다.
이하, 도면을 참조하여 실시 형태에 대해서 설명한다. 실시 형태의 구성은 예시이며, 개시의 실시 형태의 구성에 한정되지 않는다.
여기서는, 주로, 인접하는 2개의 카메라로 촬영된 화상에 의한 입체시 동화상을 사용하여 설명하고 있지만, 입체시 동화상은, 이에 한정되지 않고, 예를 들어, 인공적으로 생성된 2개의 동화상에 의한 것 등이어도 된다.
〔실시 형태1〕
(시차)
도 2는, 입체시 화상에 있어서의 시차를 설명하는 도면이다. 도 2에 있어서, 예를 들어, 동일한 대상물에 대하여, 인접하는 2개의 카메라로 촬영된 화상 중, 좌안용 화상을 화상(10), 우안용 화상을 화상(20)으로 한다. 도 2의 예에서는, 화상(10) 및 화상(20)에, 동일한 대상물인, 물체(1)가 포함되어 있다. 여기서, 점 P1은, 화상(10)에 있어서 물체(1)의 위치를 대표하는 점으로 한다. 점 P2는, 화상(20)에 있어서, 물체(1)의 위치를 대표하는 점으로 한다. 물체(1)의 위치를 대표하는 점은, 예를 들어, 물체(1)의 중심점으로 해도 되고, 물체(1)의 우측 단부 또한 하단부의 점으로 해도 된다. 물체(1)의 위치를 대표하는 점은, 이들에 한정되지 않는다. 점 P1 및 점 P2는, 각각, 물체(1)에 있어서 동일 위치를 나타내는 점이다. 점 P1 및 점 P2는, 각각, 화상(10)에 있어서의 물체(1)의 위치 및 화상(20)에 있어서의 물체(1)의 위치라고도 한다.
입체시 화상에 있어서의 시차는, 동일한 대상물의, 좌안용 화상에 있어서의 위치와 우안용 화상에 있어서의 위치와의 차이다. 시차량은, 시차의 크기이다.
도 2의 화상(10) 및 화상(20)에 있어서, 물체(1)의 시차량은, 화상(10)에 있어서의 물체(1)의 위치(점 P1)와, 화상(20)에 있어서의 물체(1)의 위치(점 P2)와의 차이다. 즉, 화상(10)에 있어서의 점 P1의 좌표를(XL,YL), 화상(20)에 있어서의 점 P2의 좌표를 (XR, YR)로 하면, 물체(1)의 시차량은, 다음과 같이 표시된다.
Figure 112013053400987-pct00001
여기서, ΔX는, 횡방향의 시차량을 나타내고, ΔY은 종방향의 시차량을 나타낸다.
예를 들어, 우안용 화상을, 이 시차량 만큼, 평행 이동시킴으로써, 입체시 화상에 있어서의 물체(1)의 시차가 없어진다.
(데이터 구조의 예)
<MPEG2>
여기서는, MPEG2 포맷에 대해서 설명한다.
MPEG2 포맷에서는, 동화상은, 시간 정보를 갖는 복수의 화상(정지 화상)을 포함한다. 이 동화상은, 시간 정보의 시간 순으로 재생된다. MPEG2 포맷에 있어서의 각 화상 데이터는, 소정의 수의 화상 데이터마다 압축된다.
도 3은, MPEG2 데이터의 구조의 예를 나타내는 도면이다. 도 3의 MPEG2 데이터는, 계층 구조로 되어 있다. 도 3의 MPEG2 데이터는, 화상 출력 프레임 레이어, GOP(Group of Pictures) 레이어, 픽쳐 레이어, 라인 레이어, MB(Micro Block) 레이어를 포함한다.
화상 출력 프레임 레이어는, 1개의 영상에 대응하는 MPEG2 데이터이다. 화상 프레임 레이어는, GOP(Group of Pictures), 및, 이것에 대응하는 SH(Sequence Header; 시퀀스 헤더)를 포함한다. 화상 출력 프레임 레이어는, 복수의 GOP 및 SH를 포함한다.
GOP는, 프레임을 효율적으로 관리하기 위해서 필요한 프레임(픽쳐)의 집합이다. 프레임은, 동화상 데이터에 있어서 편집 가능한 최소 단위이다. SH는, GOP의 화상의 개시 포인트 등의 정보를 포함한다. SH에는, 시간 정보나 프레임 레이트가 포함될 수 있다.
GOP 레이어는, 단독으로 재생 가능한 I(Intra-coded) 픽쳐, 과거의 I 픽쳐 또는 P 픽쳐를 사용해서 재생되는 P(Predicted) 픽쳐, 및, 과거 및 미래의 I 픽쳐 또는 P 픽쳐를 사용해서 재생되는 B(Bidirectional Predicted) 픽쳐를 포함한다. I 픽쳐는, 최초로 부호화되는 프레임이다. 복호는, I 픽쳐로부터 시작된다.
픽쳐 레이어는, 복수의 라인 블록을 포함한다. 도 3의 예에서는, 픽쳐 레이어는 n개의 라인 블록을 포함한다. 픽쳐 레이어에 포함되는 라인 블록의 수는, 픽쳐의 사이즈에 의존한다.
라인 레이어는, 복수의 매크로 블록(MB;Macro Block)을 포함한다. 매크로 블록은, 휘도 정보(Y 정보), 색차 정보(Cr 정보, Cb 정보)를 포함한다.
도 4는, I 픽쳐, P 픽쳐, B 픽쳐의 관계를 나타내는 도면이다. 도 4의 예에서는, 좌측의 픽쳐로부터 순서대로, 시간이 오래된(과거의) 픽쳐이다. I 픽쳐는, 단독으로 재생 가능하다. P 픽쳐는, 과거의 I 픽쳐 또는 P 픽쳐로부터 정보를 얻어서 재생된다. B 픽쳐는, 과거의 I 픽쳐 또는 P 픽쳐, 및, 미래의 P 픽쳐로부터 정보를 얻어서 재생된다. 여기서, 정보란, 픽쳐 내의 영역(예를 들어, 매크로 블록), 및, 이 영역의 움직임 예측(움직임 벡터)이다.
I 픽쳐의 데이터에는, 이동하는 화상 및 이동하지 않는 화상의 데이터가 포함된다. I 픽쳐의 데이터에서는, 이동하는 화상과 이동하지 않는 화상이 구별된다. 이동하지 않는 화상은, 이 픽쳐의 다음 시각의 픽쳐에서도 변화하지 않는 배경 등이다. 이동하지 않는 화상은, 움직임 벡터가 제로 백터인 영역의 화상이다. 이동하는 화상은, 이 픽쳐의 다음 시각의 픽쳐에 있어서 이동하는 물체 등을 포함하는 화상이다. 이동하는 화상은, 움직임 벡터가 제로 벡터가 아닌 영역의 화상이다. P 픽쳐의 데이터에는, 이동하는 화상 및 이동하지 않는 화상의 데이터가 포함된다. P 픽쳐의 데이터에서는, 이동하는 화상과 이동하지 않는 화상이 구별된다. B 픽쳐의 데이터에는, 이동하는 화상의 데이터가 포함된다. 즉, B 픽쳐의 데이터에는, 움직임 벡터가 제로 벡터가 아닌 영역의 화상이 포함된다. 각 픽쳐의 데이터는, 이동하는 화상의 데이터를 포함한다. 단, 화상 전체에서 움직임이 없는 경우에는, 각 픽쳐의 데이터는, 이동하는 화상의 데이터를 포함하지 않는다.
<AVI>
여기서는, AVI 포맷에 대해서 설명한다.
AVI 포맷에서는, 동화상은, 시간 정보를 갖는 복수의 화상(정지 화상)을 포함한다. 이 동화상은, 시간 정보의 시간 순으로 재생된다. AVI 포맷에 있어서의 각 화상 데이터는, 화상 데이터마다 압축된다. AVI 포맷에 있어서의 각 화상 데이터는, 먼저 설명한 I 픽쳐와 같이 단독으로 재생 가능하다. 또한, 각 화상 데이터는, 이동하는 화상과 이동하지 않는 화상과의 구별을 갖지 않는다.
처리하려고 하는 화상과 이 화상의 직전의 시각의 화상에서 차분을 취하고, 차분이 0인 영역이 이동하지 않는 화상이며, 차분이 0이 아닌 영역이 이동하는 영역으로 할 수 있다. 미리, 시간적으로 인접하는 화상끼리에서 차분을 산출해 둠으로써, 동화상이, AVI 포맷이어도, 화상 전체를, 이동하는 화상과, 이동하지 않는 화상으로, 나눌 수 있다. 이동하는 화상(영역)과 이동하지 않는 화상(영역)은, 미리 산출되어, 저장부 등에 저장되어도 된다.
(구성)
도 5는, 입체시 화상 생성 장치의 예를 나타내는 도면이다. 입체시 화상 생성 장치(100)는, 취득부(110), 연산부(120), 저장부(130)를 포함한다.
취득부(110)는, 외부 또는 내부의 입력 장치로부터, 동화상을 취득한다. 취득부(110)가 취득하는 동화상은, 입체시 동화상의, 좌안용 동화상 및, 우안용 동화상이다. 취득부(110)가 취득한 동화상은, 저장부(130)에 저장된다. 좌안용 동화상 및 우안용 동화상은, 각각, 대응되어(연괸되어), 저장부(130)에 저장된다. 동화상은, 예를 들면, 연속하는, 복수의, 시간 정보가 부가된 화상(정지 화상)을 포함한다. 동화상에 포함되는 각 화상은, 화상 내의 점마다 화소값을 갖는다. 화소값은, 점의 색 등을 나타내는 정보이다. 화소값은, 예를 들어, RGB 표색계의 R(Red) 값, G(Green) 값, B(Blue) 값으로 나타낸다. RGB 표색계 대신에, 다른 표색계(예를 들어, YUV 표색계)에 의한 파라미터(값)이 사용되어도 된다. YUV 표색계에 의한 파라미터가 사용되었을 경우, 휘도값으로서, Y(Yellow) 값이 사용되어도 된다.
연산부(120)는, 취득부(110)가 취득한 동화상에 포함되는 하나 하나의 화상에 대하여, 시차량의 산출을 행하여, 입체시 화상을 생성한다. 연산부(120)가 생성한 입체시 화상은, 저장부(130)에 저장된다.
저장부(130)는, 취득부(110)가 취득한 동화상 및, 연산부(120)가 생성한 입체시 화상, 연산부(120)가 산출한 시차량, 생성하는 입체시 동화상에 대하여 미리 정해진 오프셋량 등을 저장한다.
표시부(140)는, 저장부(130)에 저장되는 동화상 등을 표시한다.
수신부(150)는, 기준 오브젝트의 선택 등의, 사용자로부터의 입력을 접수한다.
도 6은, 정보 처리 장치(300)의 하드웨어 구성예를 나타내는 도면이다. 입체시 화상 생성 장치(100)는, 예를 들어, 도 6에 나타내는 것 같은 정보 처리 장치(300)에 의해, 실현된다. 정보 처리 장치(300)는, CPU(Central Processing Unit)(302), 메모리(304), 기억부(306), 입력부(308), 출력부(310), 통신부(312)를 포함한다.
정보 처리 장치(300)는, CPU(302)가 기록부(306)에 기억된 프로그램을 메모리(304)의 작업 영역에 로드하여 실행하고, 프로그램의 실행을 통해서 주변 기기가 제어됨으로써, 소정의 목적에 합치한 기능을 실현할 수 있다.
CPU(302)는, 기억부(306)에 저장되는 프로그램을 따라 처리를 행한다. 메모리(304)는, CPU(302)가 프로그램이나 데이터를 캐시(cache)화 하거나 작업 영역을 전개하거나 한다. 메모리(304)는, 예를 들어, RAM(Random Access Memory)이나 ROM(Read Only Memory)을 포함한다.
기억부(306)는, 각종 프로그램 및 각종 데이터를 판독ㆍ기입 가능하게 기록 매체에 저장한다. 기억부(306)로서는, 솔리드 스테이트 드라이브 장치, 하드디스크 드라이브 장치, CD(Compact Disc) 드라이브 장치, DVD(Digital Versatile Disk) 드라이브 장치, +R/+RW 드라이브 장치, HD DVD(High-Definition Digital Versatile Disk) 드라이브 장치, 또는, BD(Blu-ray Disk) 드라이브 장치가 있다. 또한, 기록 매체로서는, 비휘발성 반도체 메모리(플래시 메모리)를 포함하는 실리콘 디스크, 하드 디스크, CD, DVD, +R/+RW, HD DVD, 또는, BD가 있다. CD로서는, CD-R(Recordable), CD-RW(Rewritable), CD-ROM이 있다. DVD로서는, DVD-R, DVD-RAM(Random Access Memory)이 있다. BD로서는, BD-R, BD-RE(Rewritable), BD-ROM이 있다.
입력부(308)는, 사용자 등으로부터의 조작 지시 등을 접수한다. 입력부(308)는, 키보드, 포인팅 디바이스, 와이어리스 리모트 컨트롤러, 마이크로폰, 복수의 카메라 등의 입력 디바이스이다. 입력부(308)로부터 입력된 정보는, CPU(302)에 통지된다.
출력부(310)는, CPU(302)에 의해 처리되는 데이터나 메모리(304)에 기억되는 데이터를 출력한다. 출력부(310)는, CRT(Cathode Ray Tube) 디스플레이, LCD(Liquid Crystal Display), PDP(Plasma Display Panel), EL(Electro luminescence) 패널, 프린터, 스피커 등의 출력 디바이스이다.
통신부(312)는, 외부 장치와 데이터의 송수신을 행한다. 통신부(312)는, 예를 들어, 신호선을 통하여, 외부 장치와 접속된다. 통신부(312)는, 예를 들어, LAN(Local Area Network) 인터페이스 보드나, 무선 통신을 위한 무선 통신 회로이다.
정보 처리 장치(300)는, 기억부(306)에, 오퍼레이팅 시스템, 각종 프로그램, 각종 테이블을 기억하고 있다.
오퍼레이팅 시스템은, 소프트웨어와 하드웨어와의 중개, 메모리 공간의 관리, 파일 관리, 프로세스나 타스크(Task)의 관리 등을 행하는 소프트웨어이다. 오퍼레이팅 시스템은, 통신 인터페이스를 포함한다. 통신 인터페이스는, 통신부(312)를 통해서 접속되는 다른 외부 장치 등과 데이터의 교환을 행하는 프로그램이다.
입체시 화상 생성 장치(100)를 실현할 수 있는 정보 처리 장치(300)는, CPU(302)가 기억부(306)에 기억되어 있는 프로그램을 메모리(304)에 로드해서 실행 함으로써, 취득부(110), 연산부(120), 수신부(150)로서의 기능을 실현한다. 또한, 저장부(130)는, 메모리(304), 기억부(306) 등의 기억 영역에 설치된다. 표시부(140)는, CPU(302), 출력부(310) 등에 의해 실현된다. 수신부(150)는, CPU(302), 입력부(308) 등에 의해 실현된다.
(동작예)
입체시 동화상 생성 장치(100)의 동작예에 대해서 설명한다. 이하의 설명에서는, 좌안용 동화상 및 우안용 동화상이 사용되지만, 좌안용 동화상과 우안용 동화상과의 사이에는, 우열은 없어, 서로 교체할 수 있다. 마찬가지로, 좌안용 화상 및 우안용 화상이 사용되지만, 좌안용 화상과 우안용 화상과의 사이에는, 우열은 없어, 서로 교체할 수 있다.
도 7, 도 8 및 도 9는, 입체시 동화상 생성 장치(100)의 동작 플로우의 예를 나타내는 도면이다. 도 7의 「A」는, 도 8의 「A」와 접속된다. 도 8의 「B」 및 「C」은, 각각, 도 9의 「B」 및 「C」와 접속된다. 도 7의 동작 플로우는, 예를 들어, 입체시 동화상 생성 장치(100)의 전원이 투입되는 것을 계기로 개시된다.
입체시 동화상 생성 장치(100)는, 좌안용 동화상 및 우안용 동화상을 취득한다. 입체시 동화상 생성 장치(100)는, 생성하려고 하는 입체시 동화상에 대하여 정해진 오프셋량이 있는 경우에는, 당해 오프셋량에 기초하여, 동화상에 포함되는 모든 화상에 대해서, 화상 전체를 평행 이동한다(S101 내지 S103). 동화상은, 연속된 복수의 정지 화상(프레임, 픽쳐)을 포함한다. 또한, 입체시 동화상 생성 장치(100)는, 정지 화상마다 이동하고 있는 오브젝트의 시차량을 산출한다. 해당 시차량이, 소정값 미만이 아닌 경우, 예를 들어, 좌안용 화상 등에 기초하여, 우안용 화상을 생성한다(S104 내지 S110). 입체시 화상 생성 장치(100)는, 조정 후의 화상을 입체시 동화상의 화상으로서 출력한다. 좌안용 화상 및 우안용 화상은 , 통상, 시각 정보의 시각순으로 재생된다. 동화상은, 예를 들어, MPEG2 포맷에 의해 압축된다. 단, 입체시 동화상 생성 장치(100)의 처리는, 이들과 같은 처리에 한정되는 것은 아니다.
좌안용 동화상 및 우안용 동화상은, 각각에 포함되는 하나 하나의 화상(정지 화상)마다, 시각 정보에 대응된다. 좌안용 동화상 및 우안용 동화상은, 각각에 포함되는 화상마다, 공통되는 시간 정보에 대응된다. 화상과 시간 정보의 대응(연관)은, 예를 들어, 각 화상이 시간 정보를 가짐으로써 실현된다. 또한, 화상과 시간 정보의 대응은, 예를 들어, 각 화상에 매겨지는 재생 순의 일련 번호와, 선두 화상의 시간 정보와, 프레임 레이트(단위 시간당의 화상수)에 의해, 실현된다. 또한, 화상과 시간 정보의 대응은, 예를 들어, 재생순으로 배열된 각 화상과, 선두 화상의 시간 정보와, 프레임 레이트(단위 시간당의 화상수)에 의해, 실현된다. 또한, 선두 화상의 시간 정보는 없어도 된다.
도 7, 도 8 및 도 9의 동작 플로우에 대해서, 상세하게 설명한다.
취득부(110)는, 좌안용 동화상 및 우안용 동화상을 취득한다(S101). 취득부(110)는, 좌안용 동화상 및 우안용 동화상을, 입체시 동화상 생성 장치(100)에 내장되는 카메라로부터 취득해도 되고, 외부 장치로부터 취득해도 된다. 취득된 좌안용 동화상 및 우안용 동화상은, 저장부(130)에 저장된다. 좌안용 동화상 및 우안용 동화상은, 미리, 저장부(130)에 저장되어 있어도 된다.
연산부(120)는, 생성하려고 하는 입체시 동화상에 대하여 미리 정해져 있는 오프셋량을 취득한다(S102). 연산부(120)는, 예를 들어, 저장부(130)로부터, 생성하려고 하는 입체시 동화상에 대하여 미리 정해져 있는 오프셋량을 추출한다. 오프셋량은, 한쪽 또는 양쪽의 동화상의 전체를, 미리 이동시키는 양이다. 오프셋량을 정함으로써, 예를 들어, 화상 내의 특정한 오브젝트의 최초의 화상에 있어서의 시차량을 0으로 할 수 있다. 또한, 오프셋량을 정함으로써, 예를 들어, 좌안용 화상과 우안용 화상에서 높이를 정렬시킬 수 있다. 해당 오프셋량이 저장부에 저장되어 있지 않은 경우, 해당 오프셋량은 0이라고 한다. 연산부(120)는, 사용자에 대하여, 오프셋량을 입력시키고, 이 입력된 값을 오프셋량으로 해도 된다. 여기서, 횡방향의 오프셋량을 ΔX0, 종방향의 오프셋량을 ΔY0으로 한다.
연산부(120)는, 입체시 동화상을 생성한다(S103). S103의 처리에서는, 연산부(120)는, 예를 들어, 저장부(130)로부터 우안용 동화상을 취출한다. 그리고, 연산부(120)는, 우안용 동화상에 있어서, 모든 시각의 화상에 대해서, 화상 전체를, 스텝 S102에서 취득한 오프셋량 분만큼 평행 이동한 화상을, 새로운 우안용 동화상으로 한다. 시차량으로서, 스텝 S102에서 취득한 오프셋량(ΔX0 및 ΔY0)이 사용된다. 연산부(120)는, 좌안용 동화상 및 새로운 우안용 동화상을, 입체시 동화상으로 하여, 저장부(130)에 저장한다. 여기에서 저장되는 좌안용 동화상을, 새로운 좌안용 동화상이라고 칭해도 된다.
또한, 상기의 설명에서는, 한쪽의 화상 전체를 평행 이동하여 새로운 화상으로 하고 있다. 여기서, 연산부(120)는, 각각의 동화상(좌안용 동화상, 우안용 동화상)에 있어서, 오프셋량의 1/2의 양으로 동화상의 화상 전체를 평행 이동해도 된다. 또한, 연산부(120)는, 한쪽의 동화상에 있어서 오프셋량의 1/3의 양으로 동화상의 화상 전체를 평행 이동하고, 다른 쪽의 동화상에 있어서 오프셋량의 2/3의 양으로 동화상의 화상 전체를 평행 이동해도 된다. 이 평행 이동할 때의 오프셋량에 대한 비율은, 자유롭게 설정될 수 있다. 단, 좌안용 동화상과 우안용 동화상에 있어서의 평행 이동의 양이, 전체적으로 오프셋량에 일치하는 것이 요구된다. 이때, 연산부(120)는, 새로운 좌안용 동화상 및 새로운 우안용 동화상을 생성하고, 저장부(130)에 저장하게 된다.
저장된 좌안용 동화상 및 우안용 동화상은, 입체시용의 표시 장치에 있어서, 표시될 수 있다. 입체시용의 표시 장치는, 좌안용 동화상을 왼쪽 눈에, 우안용 동화상을 오른쪽 눈에 입력하는 표시 장치이다. 또한, 저장된 좌안용 동화상 및 우안용 동화상은, 표시부(140)에 표시되어도 된다.
스텝 S103에서는, 동화상에 있어서의 모든 시각의 화상이, 스텝 S102에서 취득한 오프셋량(ΔX0 및 ΔY0)에 기초하여, 처리된다.
이후의 처리에 있어서, 스텝 S103에서 처리된 좌안용 동화상, 및, 우안용 동화상이 사용된다. 스텝 S103에 있어서의 오프셋량 분만큼 평행 이동하는 처리는, 스텝 S104에 있어서, 화상마다 처리되어도 된다.
스텝 S104에서는, 연산부(120)는, 직전에 처리한 화상의 다음 시각의 화상(좌안용 화상 및 우안용 화상)을, 저장부(130)로부터 취출한다. 취출된 좌안용 화상 및 우안용 화상은, 이미, 스텝 S102에서 취득된 오프셋량에 기초하여, 처리되고 있다. 연산부(120)는, 직전에 처리한 화상(직전의 스텝 S103 또는 직전의 스텝 S104에서 처리한 화상)과, 이 화상의 다음 시각의 화상에서, 화상 내의 어느 것의 오브젝트가 이동했는지의 여부를 판정한다(도 8:S104). 즉, 연산부(120)는, 직전에 처리한 좌안용 화상과, 이 화상의 다음 시각의 좌안용 화상에서, 어느 것의 오브젝트가 이동했는지의 여부를 판정한다. 또한, 연산부(120)는, 직전에 처리한 우안용 화상과, 이 화상의 다음 시각의 우안용 화상에서, 어느 것의 오브젝트가 이동했는지의 여부를 판정한다.
구체적으로는, 연산부(120)는, 예를 들어, 직전에 처리한 화상의 다음 시각의 화상의 데이터에, 이동하는 화상(영역)이 존재하는지의 여부에 의해, 어느 것의 오브젝트가 이동했는지의 여부를 판정한다. 이동하는 화상(영역)은, 이동하고 있는 물체(오브젝트) 등을 포함하는 화상이다. 이동하는 화상(영역)이 존재하지 않을 경우, 화상 내에 이동하고 있는 부분은 없다. 따라서, 이동하는 화상(영역)이 존재하지 않을 경우, 화상 내의 어느 것의 오브젝트도 이동하고 있지 않는다고 생각된다. 또한, 이동하는 화상이 존재하는 경우, 연산부(120)는, 어느 것의 오브젝트가 이동하고 있다고 판정한다.
또한, 연산부(120)는, 예를 들어, 직전에 처리한 화상과 이 다음의 시각의 화상과의 사이에서, 각 화소의 차분을 취하고, 차분이 0이 아닌 영역이 존재하는지의 여부에 따라, 어느 것의 오브젝트가 이동했는지의 여부를 판정해도 된다. 차분이 0이 아닌 영역은, 이동하고 있는 물체(오브젝트) 등을 포함하는 화상이다. 연산부(120)는, 직전에 처리한 화상 상에서, 차분이 0이 아닌 영역을, 이동하고 있는 물체의 화상으로 해도 된다. 차분이 0이 아닌 영역이 존재하지 않을 경우, 화상 내에 이동하고 있는 부분은 없다. 따라서, 차분이 0이 아닌 영역이 존재하지 않는 경우, 화상 내의 어느 오브젝트도 이동하고 있지 않다고 생각된다. 또한, 차분이 0이 아닌 영역이 존재하는 경우, 연산부(120)는, 어느 것인가의 오브젝트가 이동하고 있다고 판정한다.
어느 것인가의 오브젝트가 이동하고 있다고 판단된 경우(S104;YES), 연산부(120)는, 스텝 S104에서 취출된 좌안용 화상 및 우안용 화상에 있어서, 2개의 이동하는 화상 내에서 공통되는 물체(오브젝트)를 추출한다(S105). 또한, 한쪽의 화상(좌안용 화상 또는 우안용 화상) 내에만 이동하는 화상이 존재하는 경우, 연산부(120)는, 해당 이동하는 화상과, 이동하는 화상이 존재하지 않는 화상에서, 공통되는 물체(오브젝트)를 추출한다. 이들 공통되는 오브젝트는, 이동하는 오브젝트이다. 공통되는 오브젝트의 추출에는, 예를 들어, 패턴 매칭이 사용된다. 연산부(120)는, 공통되는 물체(이동하는 오브젝트)의 각각의 화상(좌안용 화상 및 우안용 화상)에 있어서의 위치를, 저장부(130)에 저장한다. 또한, 연산부(120)는, 공통되는 오브젝트의 화상을 저장부(130)에 저장한다.
패턴 매칭은, 예를 들어, 다음과 같이 실행된다. 연산부(120)가, 좌안용 화상의 이동하는 화상과 우안용 화상의 이동하는 화상을 어느 위치에서 겹치게 하고, 서로 겹쳐진 영역의 화소값의 차분을 취한다. 연산부(120)는, 겹쳐진 영역 중 차분이 0인 영역의 위치 및 그 크기를 구한다. 영역의 위치는, 예를 들어, 각 화상에 있어서의 영역의 중심 위치로 할 수 있다. 또한, 연산부(120)는, 겹치는 위치를 임의로 평행 이동시키고, 마찬가지로, 각 위치에서 겹쳐진 영역의 차분을 취하고, 겹쳐진 영역 중 차분이 0인 영역의 위치 및 그 크기를 구한다. 연산부(120)는, 차분이 0인 영역의 크기가 가장 큰 것을 추출한다. 연산부(120)는, 차분이 0인 영역의 크기가 가장 큰 영역(차분이 0인 영역)이, 이동하는 오브젝트(공통되는 물체)이며, 그 영역(차분이 0인 영역)의 위치가 이동하는 오브젝트의 위치라고 할 수 있다. 이 영역은, 좌안용 화상과 우안용 화상에서, 동일한 형태의 동일한 오브젝트라고 생각된다. 또한, 패턴 매칭의 방법으로서, 상기에 한정되지 않고 다른 주지의 방법이 적용될 수 있다. 이들의 공통되는 물체(이동하는 오브젝트)는, 입체시 동화상에 있어서 동일한 오브젝트로서, 입체시 동화상을 시청하는 사용자에게 인식되는 것이다.
여기서, 공통되는 물체의 화상(소정 화상이라고 함)은, 미리 저장부(130)에 저장되어서 있어도 된다. 이때, 연산부(120)는, 저장부(130)에 저장되는 소정 화상과, 좌안용 화상 및 우안용 화상을, 패턴 매칭하여, 공통되는 물체를 추출해도 된다. 또한, 한번 추출된 공통되는 물체의 화상이, 소정 화상으로서 저장부(130)에 저장되어도 된다.
스텝 S106에서는, 연산부(120)는, 이동하는 오브젝트의 사이의 시차량을 산출한다(S106). 연산부(120)는, 스텝 S105에서 구한, 좌안용 화상의 이동하는 오브젝트의 위치와, 우안용 화상의 이동하는 오브젝트의 위치와의 차를 산출한다. 이 구한 차가, 여기에서의 시차량이 된다. 이 구한 차 중, 횡방향의 차를 시차량 ΔX1, 종방향의 차를 시차량 ΔY1이라고 한다. 연산부(120)는, 이 횡방향의 시차량 ΔX1 및 종방향의 시차량 ΔY1을, 시각 정보와 함께 저장부(130)에 저장한다. 시차량 ΔX1 및 시차량 ΔY1의 초기값은, 모두 0이다.
연산부(120)는, 스텝 S106에서 산출된 시차량의 크기가 소정값 미만인지 아닌지를 판정한다(S107). 시차량의 크기 A는, 다음 식으로 나타내어진다.
Figure 112013053400987-pct00002
연산부(120)는, 시차량의 크기 A가, 소정값 미만인지 아닌지를 판정한다. 해당 소정값은, 미리, 저장부(130)에 저장된다. 해당 소정값은, 적절하게, 연산부(120)에 의해 저장부(130)로부터 취출된다. 해당 소정값은, 입체시 동화상을 시청하는 사용자가, 좌안용 화상 및 우안용 화상으로 표시되는 공통되는 물체를 동일한 오브젝트로서 인식할 수 있는지 여부에 기초해서 정해진다. 해당 소정량은, 예를 들어, 화상(좌안용 화상 또는 우안용 화상)의 횡폭에 대하여 3％의 양으로 할 수 있다. 좌안용 화상 및 우안용 화상으로 표시되는 공통되는 물체의 시차량의 크기가 화상의 횡폭의 3％ 이내이면, 사용자는, 좌안용 화상 및 우안용 화상으로 표시되는 공통되는 물체를 동일한 물체로 인식할 수 있다. 해당 소정량은, 화상의 횡폭의 3％로 한정되는 것은 아니며, 다른 값이어도 된다. 여기서 상정되는 화상은, 가로와 세로와의 비율이 16:9 정도의 화상이다. 따라서, 가로와 세로와의 비율이 이 비율로부터 벗어난 화상인 경우, 해당 소정값은, 화상의 횡폭의 3％보다도 커지거나, 작아지거나 할 수 있다. 또한, 해당 소정값은, 화상의 세로 폭에 대한 비율이어도 된다. 시차량의 크기 A가 소정값 미만이면, 사용자는 좌안용 화상 및 우안용 화상으로 표시되는 공통되는 물체를 동일한 오브젝트로서 인식할 수 있다. 시차량의 크기 A가 소정값 이상인 경우, 사용자는 좌안용 화상 및 우안용 화상으로 표시되는 공통되는 물체를 동일한 오브젝트로서 인식하지 못할 우려가 있다.
시차량의 크기가 소정값 이상인 경우(S107;YES), 연산부(120)는, 우안용 화상을 새롭게 생성한다(S108). 연산부(120)는, 스텝 S104에 있어서의 직전에 처리한 우안용 화상의 이동하지 않는 화상과, 스텝 S104에서 처리한 좌안용 화상의 이동하는 오브젝트와, 직전의 화상에 있어서의 시차량에 의해, 새로운 우안용 화상을 생성한다. 즉, 연산부(120)는, 직전에 처리한 우안용 화상의 이동하지 않는 화상에, 스텝 S104에서 처리한 좌안용 화상의 이동하는 오브젝트를 겹치게 하여 새로운 우안용 화상으로 한다. 겹쳐지는 위치는, 스텝 S104에서 처리한 좌안용 화상의 이동하는 오브젝트의, 좌안용 화상에 있어서의 위치로부터, 직전에 처리한 화상에 있어서의 이동하는 오브젝트의 시차량 만큼, 평행 이동한 위치로 된다. 연산부(120)는, 우안용 화상 대신에 좌안용 화상을 새롭게 생성해도 된다. 또한, 연산부(120)는, 공통되는 물체의 이동량을 산출하고, 이동량이 큰 쪽의 화상(좌안용 화상 또는 우안용 화상)을 새롭게 생성하는 화상으로 해도 된다. 반대로, 연산부(120)는, 공통되는 물체의 이동량을 산출하고, 이동량이 작은 쪽의 화상(좌안용 화상 또는 우안용 화상)을 새롭게 생성하는 화상으로 해도 된다. 공통되는 물체의 이동량은, 스텝 S104에 있어서의 직전에 처리한 화상과 이 다음의 시각의 화상에 있어서의 이동하는 오브젝트의 위치의 차에 의해 산출된다.
도 10은, 스텝 S108을 설명하는 도면이다. 도 10에서는, 시각 t=t1에 있어서의 좌안용 화상(1001L) 및 우안용 화상(1001R), 시각 t=t2에 있어서의 좌안용 화상(1002L), 우안용 화상(1002R) 및 새로운 우안용 화상(1002R1)이 나타난다. 시각 t1에 있어서의 화상은, 시각 t2에 있어서의 화상의 직전의 화상이다. 여기서, 물체(1011L), 물체(1011R), 물체(1012L), 물체(1012R)는, 동일한 이동하지 않는 물체이다. 마찬가지로, 물체(1021L), 물체(1021R), 물체(1022L), 물체(1022R)는, 동일한 이동하지 않는 물체이다. 이들 이동하지 않는 물체는, 각각의 화상(좌안용 화상(1001L) 등)의 이동하지 않는 화상에 존재한다. 또한, 물체(1031L), 물체 (1031R), 물체(1032L), 물체(1032R)는, 동일한 이동하는 물체이다. 이들 이동하는 물체는, 각각의 화상(좌안용 화상(1001L) 등)의 이동하는 화상에 존재한다.
시각 t1에 있어서의 이동하는 물체(1031L)의 좌안용 화상(1001L)에 있어서의 위치를 (XL1, YL1), 물체(1031R)의 우안용 화상(1001R)에 있어서의 위치를 (XR1, YR1)이라고 한다. 이 이동하는 물체의 시차량은, 다음과 같이 구해진다.
Figure 112013053400987-pct00003
마찬가지로, 시각 t2에 있어서의 이동하는 물체(1032L)의 좌안용 화상 (1002L)에 있어서의 위치를 (XL2, YL2), 물체(1032R)의 우안용 화상(1002R)에 있어서의 위치를 (XR2, YR2)라고 한다. 이 이동하는 물체의 시차량은, 다음과 같이 구해진다.
Figure 112013053400987-pct00004
또한, 이제부터, 시각 t2에 있어서의 이동하는 물체(1032)(물체(1032L) 및 물체(1032R))의 시차량의 크기 A(t2)는, 다음과 같이 구해진다.
Figure 112013053400987-pct00005
여기서, 시차량의 크기 A(t2)가 소정값 이상인 경우, 연산부(120)는, 우안용 화상을 새롭게 생성한다. 연산부(120)는, 시각 t1에 있어서의 우안용 화상 (1001R)의 이동하지 않는 화상과, 시각 t2에 있어서의 좌안용 화상의 이동하는 물체(1032L)와, 시각 t1에 있어서의 물체(1031)(물체(1031L) 및 물체(1031R))의 시차량에 의해, 새로운 우안용 화상을 생성한다. 즉, 연산부(120)는, 시각 t1에 있어서의 우안용 화상(1001R)의 이동하지 않는 화상에, 시각 t2에 있어서의 좌안용 화상의 이동하는 물체(1032L)를 겹치게 하여 새로운 우안용 화상(1002R1)으로 한다. 겹쳐지는 위치는, 시각 t2에 있어서의 좌안용 화상의 이동하는 물체(1032L)의 위치(XL1, YL2)로부터, 시각 t1에 있어서의 이동하는 물체(1031)(물체(1031L) 및 물체 (1031R))의 시차량 만큼(ΔX1(t1) 및 ΔY1(t1)), 평행 이동한 위치로 된다. 시각 t2의 우안용 화상에 있어서의 이동 후의 물체(1032)의 위치는, 새로운 우안용 화상(1002R1)의 물체(1032R1)의 위치로 된다. 또한, 여기서, 연산부(120)는, 시차량의 크기 A(t2)는 A(t1)인 것으로 하여, 저장부(130)에 저장한다. 이 시차량의 크기 A(t2)(=A(t1))는, 시각 t2에 있어서의 좌안용 화상의 이동하는 물체의 위치와 새로운 우안용 화상의 이동하는 물체의 위치와의 사이의 시차량의 크기이다.
도 8로 되돌아와, 어느 것인가의 오브젝트가 이동하고 있지 않다고 판단된 경우(S104;NO), 또는, 시차량의 크기가 소정값 미만인 경우(S107;YES), 처리가 스텝 S109로 진행한다.
스텝 S109에서는, 연산부(120)는, 입체시 화상을 생성한다(S109). 연산부(120)는, 스텝 S104에서 추출한 좌안용 화상 및 우안용 화상을, 입체시 동화상의하나(1조)의 화상으로서, 스텝 S104에서 처리한 시각 정보와 대응시켜, 저장부(130)에 저장한다. 연산부(120)는, 스텝 S108에서, 우안용 화상(또는, 좌안용 화상)을 생성한 경우에는, 연산부(120)는, 이 화상을, 우안용 화상(또는, 좌안용 화상)으로 한다.
스텝 S110에서는, 연산부(120)는, 스텝 S104에서 처리한 화상의 시각 정보의 시각의 다음 시각 정보의 시각을 갖는 화상이 존재하는지를 확인한다. 즉, 연산부(120)는, 스텝 S104에서 처리한 화상이, 최후의 화상인지 아닌지를 판단한다(S110). 스텝 S104에서 처리한 화상이 최후의 화상인 경우(S110;YES), 연산부(120)는, 처리를 종료한다. 스텝 S104에서 처리한 화상이 최후의 화상이 아닌 경우(S110;NO), 연산부(120)는, 처리를 스텝 S104로 되돌린다.
(실시 형태의 작용 효과)
입체시 동화상 생성 장치(100)는, 이동하는 오브젝트의 좌안용 화상과 우안용 화상과의 사이의 시차량을 산출한다. 입체시 동화상 생성 장치(100)는, 산출한 시차량의 크기가 소정값 미만이 아닌 경우, 직전에 처리한 화상, 직전에 처리한 화상에 있어서의 시차량 및, 이동하는 오브젝트에 기초하여, 새로운 화상을 생성한다.
입체시 동화상 생성 장치(100)는, 화상 처리의 이상 등에 의해, 좌안용 화상과 우안용 화상에서 공통되는 오브젝트가 동일한 오브젝트로서 인식되지 못할 가능성이 있는 경우, 새로운 화상을 생성한다. 입체시 동화상 생성 장치(100)는, 새로운 화상을 생성함으로써, 공통되는 오브젝트가 동일한 오브젝트로서 인식될 수 있는 위화감이 없는 입체시 동화상을 생성할 수 있다.
100 : 입체시 동화상 생성 장치
110 : 취득부
120 : 연산부
130 : 저장부
140 : 표시부
150 : 수신부
300 : 정보 처리 장치
302 : CPU
304 : 메모리
306 : 기억부
308 : 입력부
310 : 출력부
312 : 통신부

Claims (9)

  1. 각각 시각 정보와 대응되는 복수의 화상을 포함하는 제1 동화상, 각각 상기 시각 정보와 대응되는 복수의 화상을 포함하는 제2 동화상, 소정 화상, 소정 값, 및 미리 정해진 오프셋량을 저장하는 저장부와,
    제1 시각 정보와 대응되는 제1 동화상의 제1 화상 및 제2 동화상의 제2 화상과, 상기 소정 화상을 상기 저장부로부터 추출하고, 상기 제1 화상에 있어서의 상기 소정 화상의 존재 위치인 제1 위치를 산출하고, 상기 제2 화상에 있어서의 상기 소정 화상의 존재 위치인 제2 위치를 산출하고, 상기 제1 위치와 상기 제2 위치와의 차분인 제1 차분량을 산출하고,
    상기 제1 동화상에 있어서의 상기 제1 시각 정보의 다음 시각인 제2 시각 정보와 대응되는 제1 동화상의 제3 화상 및 제2 동화상의 제4 화상과, 상기 소정 값을 상기 저장부로부터 추출하고, 상기 제3 화상에 있어서의 상기 소정 화상의 존재 위치인 제3 위치를 산출하고, 상기 제4 화상에 있어서의 상기 소정 화상의 존재 위치인 제4 위치를 산출하고, 상기 제3 위치와 상기 제4 위치와의 차분인 제2 차분량을 산출하고,
    상기 제2 차분량의 크기가 상기 소정 값 이상인 경우, 상기 제4 화상에 있어서의 상기 소정 화상의 존재 위치가 상기 제3 위치로부터 상기 제1 차분량만큼 평행 이동한 위치가 되도록 새로운 제4 화상을 생성하는 연산부
    를 구비하고,
    상기 연산부는, 상기 저장부로부터 오프셋량을 추출하고, 추출한 상기 오프셋량에 기초하여, 상기 제1 동화상 및 상기 제2 동화상의 어느 하나 또는 양방의 전체를 미리 평행 이동하는, 입체시 동화상 생성 장치.
  2. 제1항에 있어서, 상기 소정 화상은, 상기 제1 화상 상에서의 화상들 중, 상기 제1 화상과 상기 제3 화상과의 사이에서 차분이 0이 아닌 영역에 해당하는 화상, 또는, 상기 제2 화상 상에서의 화상들 중, 상기 제2 화상과 상기 제4 화상과의 사이에서 차분이 0이 아닌 영역에 해당하는 화상인 입체시 동화상 생성 장치.
  3. 제1항에 있어서, 상기 소정 값은, 상기 제1 화상의 횡폭에 대한 소정 비율의 크기로 하는 입체시 동화상 생성 장치.
  4. 컴퓨터가,
    각각 시각 정보와 대응되는 복수의 화상을 포함하는 제1 동화상, 각각 상기 시각 정보와 대응되는 복수의 화상을 포함하는 제2 동화상, 소정 화상, 소정 값, 및 미리 정해진 오프셋량을 저장하는 기억 장치로부터, 제1 시각 정보와 대응되는 제1 동화상의 제1 화상 및 제2 동화상의 제2 화상과, 상기 소정 화상을 추출하고, 상기 제1 화상에 있어서의 상기 소정 화상의 존재 위치인 제1 위치를 산출하고, 상기 제2 화상에 있어서의 상기 소정 화상의 존재 위치인 제2 위치를 산출하고, 상기 제1 위치와 상기 제2 위치와의 차분인 제1 차분량을 산출하고,
    상기 기억 장치로부터, 상기 제1 동화상에 있어서의 상기 제1 시각 정보의 다음 시각인 제2 시각 정보와 대응되는 제1 동화상의 제3 화상 및 제2 동화상의 제4 화상과, 상기 소정 값을 추출하고, 상기 제3 화상에 있어서의 상기 소정 화상의 존재 위치인 제3 위치를 산출하고, 상기 제4 화상에 있어서의 상기 소정 화상의 존재 위치인 제4 위치를 산출하고, 상기 제3 위치와 상기 제4 위치와의 차분인 제2 차분량을 산출하고,
    상기 제2 차분량의 크기가 상기 소정 값 이상인 경우, 상기 제4 화상에 있어서의 상기 소정 화상의 존재 위치가 상기 제3 위치로부터 상기 제1 차분량만큼 평행 이동한 위치가 되도록 새로운 제4 화상을 생성하고,
    상기 기억 장치로부터 오프셋량을 추출하고, 추출한 상기 오프셋량에 기초하여, 상기 제1 동화상 및 상기 제2 동화상의 어느 하나 또는 양방의 전체를 미리 평행 이동하는 것을 실행하는 입체시 동화상 생성 방법.
  5. 제4항에 있어서, 상기 소정 화상은, 상기 제1 화상 상에서의 화상들 중, 상기 제1 화상과 상기 제3 화상과의 사이에서 차분이 0이 아닌 영역에 해당하는 화상, 또는, 상기 제2 화상 상에서의 화상들 중, 상기 제2 화상과 상기 제4 화상과의 사이에서 차분이 0이 아닌 영역에 해당하는 화상인 입체시 동화상 생성 방법.
  6. 제4항에 있어서, 상기 소정 값은, 상기 제1 화상의 횡폭에 대한 소정 비율의 크기로 하는 입체시 동화상 생성 방법.
  7. 삭제
  8. 삭제
  9. 삭제
KR1020137015568A 2010-12-17 2010-12-17 입체시 동화상 생성 장치 및 입체시 동화상 생성 방법 KR101512255B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/072814 WO2012081127A1 (ja) 2010-12-17 2010-12-17 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム

Publications (2)

Publication Number Publication Date
KR20130117816A KR20130117816A (ko) 2013-10-28
KR101512255B1 true KR101512255B1 (ko) 2015-04-14

Family

ID=46244254

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137015568A KR101512255B1 (ko) 2010-12-17 2010-12-17 입체시 동화상 생성 장치 및 입체시 동화상 생성 방법

Country Status (5)

Country Link
US (1) US20130278717A1 (ko)
JP (1) JP5655862B2 (ko)
KR (1) KR101512255B1 (ko)
CN (1) CN103262545B (ko)
WO (1) WO2012081127A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG10201510773PA (en) * 2015-12-30 2017-07-28 Creative Tech Ltd A method for creating a stereoscopic image sequence

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3150446B2 (ja) * 1992-09-29 2001-03-26 富士通株式会社 画像高能率符号化方式
JP2004289527A (ja) * 2003-03-24 2004-10-14 Sanyo Electric Co Ltd 立体画像表示装置
JP2004350918A (ja) * 2003-05-29 2004-12-16 Sophia Co Ltd 遊技機
KR20100021574A (ko) * 2007-06-18 2010-02-25 소니 주식회사 화상처리장치, 화상처리방법 및 프로그램

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164328A (ja) * 1997-11-27 1999-06-18 Toshiba Corp 立体映像表示装置
JP2000209614A (ja) * 1999-01-14 2000-07-28 Sony Corp 立体映像システム
JP2003018619A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 立体映像評価装置およびそれを用いた表示装置
JP4469159B2 (ja) * 2003-11-06 2010-05-26 学校法人早稲田大学 立体映像評価装置および立体映像チューナ
KR100679740B1 (ko) * 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
US20090146961A1 (en) * 2007-12-05 2009-06-11 David Shun-Chi Cheung Digital image editing interface
KR20110063615A (ko) * 2008-09-30 2011-06-13 파나소닉 주식회사 3ｄ 영상이 기록된 기록매체, 3ｄ 영상을 재생하는 재생장치 및 시스템 ｌｓｉ
JP4637942B2 (ja) * 2008-09-30 2011-02-23 富士フイルム株式会社 ３次元表示装置および方法並びにプログラム
JP4995854B2 (ja) * 2009-03-11 2012-08-08 富士フイルム株式会社 撮像装置、画像補正方法および画像補正プログラム
JP5293463B2 (ja) * 2009-07-09 2013-09-18 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8508580B2 (en) * 2009-07-31 2013-08-13 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
JP5361618B2 (ja) * 2009-09-04 2013-12-04 キヤノン株式会社 画像処理装置及びその制御方法
JP5750779B2 (ja) * 2010-09-02 2015-07-22 オリンパス株式会社 撮像装置、画像通信システム、および画像通信方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3150446B2 (ja) * 1992-09-29 2001-03-26 富士通株式会社 画像高能率符号化方式
JP2004289527A (ja) * 2003-03-24 2004-10-14 Sanyo Electric Co Ltd 立体画像表示装置
JP2004350918A (ja) * 2003-05-29 2004-12-16 Sophia Co Ltd 遊技機
KR20100021574A (ko) * 2007-06-18 2010-02-25 소니 주식회사 화상처리장치, 화상처리방법 및 프로그램

Also Published As

Publication number Publication date
KR20130117816A (ko) 2013-10-28
JPWO2012081127A1 (ja) 2014-05-22
JP5655862B2 (ja) 2015-01-21
CN103262545A (zh) 2013-08-21
WO2012081127A1 (ja) 2012-06-21
US20130278717A1 (en) 2013-10-24
CN103262545B (zh) 2015-10-14

Similar Documents

Publication Publication Date Title
US9049336B2 (en) Auto-detect method for detecting image format and playback method applying the same
US8488869B2 (en) Image processing method and apparatus
US20140111627A1 (en) Multi-viewpoint image generation device and multi-viewpoint image generation method
JP2012500549A (ja) 二次元／三次元再生モード決定方法及び装置
US20140376635A1 (en) Stereo scopic video coding device, steroscopic video decoding device, stereoscopic video coding method, stereoscopic video decoding method, stereoscopic video coding program, and stereoscopic video decoding program
KR101457893B1 (ko) 3차원 영상 시청시 발생하는 피로도 감소 방법 및 장치,그리고 저피로도 3차원 영상 데이터 스트림 생성 방법 및장치
JP5257248B2 (ja) 画像処理装置および方法、ならびに画像表示装置
CN102985949A (zh) 使用背景像素扩大和背景优先块匹配的多视图绘制设备和方法
JP2011081605A (ja) 画像処理装置、方法及びプログラム
JP5454569B2 (ja) 立体映像データ処理装置および立体映像データ処理方法
KR101512255B1 (ko) 입체시 동화상 생성 장치 및 입체시 동화상 생성 방법
KR101479435B1 (ko) 입체시 동화상 생성 장치, 입체시 동화상 생성 방법
JP5765418B2 (ja) 立体視画像生成装置、立体視画像生成方法、立体視画像生成プログラム
JP4892105B1 (ja) 映像処理装置、映像処理方法および映像表示装置
JP4235209B2 (ja) 動きベクトル検出装置および動きベクトル検出方法
TWI502545B (zh) 儲存３ｄ影像內容的方法
JP5337282B1 (ja) ３次元画像生成装置および３次元画像生成方法
JP4779904B2 (ja) ステレオ映像処理装置及びステレオ映像処理方法のプログラム
JP2005275765A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体
JP2011119810A (ja) 映像処理装置および映像処理方法
EP2563021B1 (en) Devices and methods for 3-D image processing
WO2012018001A1 (ja) 映像処理装置、表示装置及び映像処理方法
TW201328316A (zh) 自動偵測影像格式的方法與應用其之播放方法
JP2011146830A (ja) 映像処理装置、映像識別方法、映像表示装置及びコンピュータプログラム
JP2013016921A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee