KR20110090886A - 3차원 표시 장치 및 방법과, 프로그램 - Google Patents

3차원 표시 장치 및 방법과, 프로그램 Download PDF

Info

Publication number
KR20110090886A
KR20110090886A KR1020117004363A KR20117004363A KR20110090886A KR 20110090886 A KR20110090886 A KR 20110090886A KR 1020117004363 A KR1020117004363 A KR 1020117004363A KR 20117004363 A KR20117004363 A KR 20117004363A KR 20110090886 A KR20110090886 A KR 20110090886A
Authority
KR
South Korea
Prior art keywords
dimensional
image
images
display
pixel
Prior art date
Application number
KR1020117004363A
Other languages
English (en)
Inventor
에이지 이시야마
미키오 와타나베
Original Assignee
후지필름 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지필름 가부시키가이샤 filed Critical 후지필름 가부시키가이샤
Publication of KR20110090886A publication Critical patent/KR20110090886A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

자연스러운 외관은 화상이 3차원 표시된 때 3차원 화상의 단부에 제공된다. 3차원 처리 유닛(30)은 촬영 유닛(21A, 21B)에 의해 취득된 제 1 및 제 2 화상(G1, G2)에 3차원 처리를 행하고, 표시 제어 유닛(28)이 3차원 처리로부터 얻어진 3차원 표시용 화상을 모니터(20)에 3차원 표시한다. 수정 유닛(31)은 3차원 표시가 실행되는 때 모니터(20)의 표시면으로부터 전방으로 입체시되는 부분을 포함하는 영역의 입체감을 그 부분의 입체감이 표시면과 점차적으로 일치되도록 제 2 화상(G2)의 단부의 화상을 수정한다. 3차원 처리 유닛(30)은 제 1 화상(G1) 및 수정된 제 2 화상(G2)에 대해서 3차원 처리를 행한다.

Description

3차원 표시 장치 및 방법과, 프로그램{THREE-DIMENSIONAL DISPLAY DEVICE AND METHOD AS WELL AS PROGRAM}
본 발명은 복수의 화상을 입체시 가능하게 3차원 표시하는 3차원 표시 장치 및 방법과, 3차원 표시 방법을 컴퓨터에 실행시키기 위한 프로그램에 관한 것이다.
화상을 조합하고 3차원 표시함으로써 화상 사이에 시차를 이용해서 입체시를 제공하는 것이 알려져 있다. 그러한 입체시는 동일한 피사체의 하나 이상의 화상을 다른 위치로부터 하나 이상의 카메라를 이용하여 촬영하고 화상에 포함되는 피사체 사이의 시차를 이용해서 화상을 3차원 표시되어 실현될 수 있다.
구체적으로, 입체시가 육안의 시력 평형법에 의해 실현되면 3차원 표시는 화상을 순서대로 배치함으로써 실현될 수 있다. 또한, 3차원 표시가 화상을 합성, 예를 들면 빨강과 파랑과 같이 화상의 색을 다르게 해서 화상을 포개거나 화상의 편광 방향을 다르게 해서 화상을 겹침으로써 실현될 수 있다. 이 경우, 입체시가 빨강과 파랑 안경이나 편광 안경 등의 화상 분리 안경을 이용함으로써 3차원 표시된 화상을 눈의 자동 포커싱 기능을 통해 달성되어 융합 뷰를 제공하여 실현될 수 있다(애너글리프 시스템, 편광 필터 시스템).
또한, 입체시는 편광 안경 등을 사용하지 않고 패럴랙스 배리어(parallax barrier) 시스템 또는 렌티큘러 시스템 등의 화상을 입체시 가능한 3차원 표시 모니터에 화상을 표시함으로써 실현될 수 있다. 이 경우, 3차원 표시가 화상을 버티컬 스트립(vertical strip)으로 교대로 배치함으로써 실현된다. 또한, 화상 분리 안경을 사용하거나 광학 소자를 액정에 붙임으로써 좌우 화상으로부터 광선 방향을 변경하면서 좌우의 화상을 교대로 표시함으로써 3차원 표시를 제공하는 방법도 제안되어 있다(스캔 백라이트 시스템).
또한, 상술한 바와 같은 3차원 표시를 행하기 위한 촬영을 행하는 하나 이상의 촬영 유닛을 구비하는 복안 카메라가 제안되어 있다. 이러한, 복안 카메라는 3차원 표시 모니터를 구비하고 촬영 유닛으로 취득한 화상으로부터 3차원 표시용의 3차원 화상을 생성한다. 생성된 3차원 화상은 3차원 표시 모니터에 3차원 표시로 표시될 수 있다.
3차원 표시하기 위해 사용된 화상은 피사체를 다른 시점으로부터 촬영함으로써 취득되므로 각 화상은 단부의 영역이 존재하는 각 화상이 다른 화상에 존재하지 않는다. 예를 들면, 3차원 표시가 도 22에 나타낸 바와 같은 2개의 화상(G1, G2)을 이용하여 실행할 경우에 화상(G1)에서 영역(A51)은 화상(G2)에 존재하지 않고, 화상(G2)에서 영역(A52)은 화상(G1)에 존재하지 않는다. 그러한 화상이 3차원 표시로 표시된 때 각 화상의 단부에 사람이 표시면으로부터 전방으로 입체시되는 위치이어도 사람의 일부가 화상(G2)에 존재하지 않으므로 사람의 입체감이 3차원 화상의 좌단부에서 갑자기 없어지고 사람의 좌측 절반이 2차원 표시된다. 이것은 3차원 화상의 단부에서 대단히 부자연스러운 외관이 된다.
이 문제를 처리하기 위해 입체시되는 때 한쪽의 화상은 전방으로 입체시되는 물체의 모든 정보가 존재하지만 다른 쪽의 화상은 물체의 모든 정보가 존재하지 않으므로 3차원 표시가 실현될 수 없을 경우에는 한쪽의 화상이, 예를 들면 그 물체의 정보를 제거함으로써 마스킹되어 3차원 표시가 실현되는 방법이 제안되어 있다[일본 특허 공개 제 8(1996)-065715 호 참조, 이하 특허 문헌 1로 참조됨]. 다른 방법은 하나 이상의 물체가 존재하는 화상이 3차원 표시로 표시되었을 때 물체의 입체감을 변경하는 방법도 제안되어 있다(일본 특허 공개 제 2005-065162 호 참조, 이하 특허 문헌 2로 언급됨).
그러나, 특허 문헌 1에 개시된 방법에서 물체가 3차원으로 표시될 수 없는 상태를 해소하지만 이 방법은 특정한 물체에만 효과가 있어 특정 물체의 앞이나 뒤에 존재하는 다른 물체의 입체감은 갑자기 없어진다. 따라서, 3차원 화상은 화상이 표시면으로부터 전방으로 입체시되는 입체감을 가지면 화상을 보는 관찰자는 3차원 화상이 대단히 부자연스럽다.
상기 기재된 사정을 감안하여 본 발명은 화상이 3차원 표시된 때 3차원 화상의 단부에 자연스러운 외관을 제공하는 것을 목적으로 한다.
본 발명에 의한 3차원 표시 장치는 시차를 갖는 복수의 화상에 대하여 3차원 표시를 위한 3차원 처리를 행해서 3차원 화상을 생성하는 3차원 처리 수단과, 3차원 화상의 3차원 표시를 적어도 수행하는 표시 수단과, 3차원 표시가 수행될 때 3차원 화상의 단부가 표시 수단의 표시면으로부터 전방으로 입체시되는 경우에 단부의 적어도 일부에서의 입체감을 수정하여 단부의 적어도 일부를 표시면과 일치시키도록 복수의 화상 중 하나 이상의 화상을 수정하는 수정 수단을 구비하고, 3차원 처리 수단은 수정된 복수의 화상에 대해서 3차원 처리를 행하는 것을 특징으로 하는 것이다.
여기서, "수정된 화상"은 전체 화상이 수정되었을 때 수정된 전체 화상을 의미하고, 하나 또는 일부의 화상만 수정되었을 때 수정된 화상과 수정된 화상 이외의 수정되지 않은 화상을 포함하는 화상을 의미한다.
또한, 본 발명에 의한 3차원 표시 장치에서 수정 수단은 복수의 화상의 단부 근방의 시차를 수정하여 시차가 화상의 단부를 향해서 점차적으로 감소하도록 복수의 화상 중 하나 이상의 화상을 수정할 수 있다.
또한, 본 발명에 의한 3차원 표시 장치에 있어서는 수정 수단은 복수의 화상의 주위의 적어도 일부에 소정 범위의 단부 영역을 설정하고, 복수의 화상의 단부 영역에 있어서 대응하는 화소 사이의 시차를 복수의 화상의 단부를 향해서 점차적으로 감소하도록 수정할 수 있다.
여기서, "화상의 주위 일부에 소정 범위의 단부 영역을 설정"하는 것은 하나 이상의 화상의 상, 하, 좌, 우 중 하나 이상에 단부 영역을 설정하는 것을 의미한다. 또한, 화상의 전체 주위, 즉 상, 하, 좌, 우에 단부 영역을 설정하는 것을 의미한다. 그러나, 단부 영역은 좌부와 우측부 또는 상부와 하부에만 설정될 수 있다.
또한, 본 발명에 의한 3차원 표시 장치에 있어서는 수정 수단은 복수의 화상 중 기준이 되는 기준 화상의 단부 영역의 화상 부분을 시차에 의거하여 변형하고, 단부 영역의 변형된 화상 부분으로 단부 영역 이외의 화상 부분을 수정함으로써 복수의 화상 중 하나 이상의 화상을 수정할 수 있다.
이 경우에, 수정 수단은 화상 중 기준으로서 제공되는 기준 화상의 단부 영역 내에 기준 화상의 단부로부터 가장 떨어진 위치에 있는 기준 화소에 대응점을 기준 화상 이외의 화상에서 탐색하고, 기준 화소와 그 기준 화소에 대응하는 대응점 사이의 시차에 의거한 기준 화소와 기준 화소의 단부 사이에 정렬되는 화소에 의해 형성되는 화소 영역을 변형하고, 기준으로서 다른 화상에 대응점을 사용하여 변형된 화소 영역으로 다른 화상을 수정할 수 있다.
또한, 본 발명에 의한 3차원 표시 장치에서 수정 수단은 복수의 화상 중 하나 이상의 화상의 단부 영역의 화상 부분을 시차에 의거하여 변형함으로써 복수의 화상 중 하나 이상의 화상을 수정할 수 있다.
이 경우에, 수정 수단은 화상 중 기준으로서 제공되는 기준 화상의 단부 영역 내에서 기준 화상의 단부로부터 가장 떨어진 위치에 있는 기준 화소에 대응하는 대응점인 제 1 대응점 및 기준 화상의 단부 내에 단부 화상의 단부에 단부 화소에 대응하는 점인 제 2 대응점을 기준 화상 이외의 화상에서 탐색하고, 기준 화소와 제 1 대응점 사이의 시차, 및 단부 화소와 제 2 대응점 사이의 시차에 의거하여 다른 화상에서 제 1 대응점과 제 2 대응점 사이에 정렬되는 화소에 의해 형성되는 화소 영역을 변형할 수 있다.
본 발명에 의한 3차원 표시 방법은 시차를 갖는 복수의 화상에 대하여 3차원 표시를 위한 3차원 처리를 행해서 3차원 화상을 생성하는 3차원 처리 수단과, 3차원 화상의 3차원 표시를 적어도 수행하는 표시 수단을 구비한 3차원 표시 장치를 사용하는 3차원 표시 방법으로서, 3차원 표시가 수행될 때 3차원 화상의 단부가 표시 수단의 표시면으로부터 전방으로 입체시되는 경우에 단부의 적어도 일부에서의 입체감을 수정하여 단부의 적어도 일부를 표시면과 일치시키도록 복수의 화상 중 하나 이상의 화상을 수정하고, 수정된 복수의 화상에 대해서 3차원 처리를 행한다.
본 발명은 본 발명의 3차원 표시 방법을 컴퓨터에 실행시키기 위한 프로그램의 형태로 제공될 수 있다.
본 발명에 의한 3차원 처리 장치는 시차를 갖는 복수의 화상에 대하여 3차원 표시를 위한 3차원 처리를 행해서 3차원 화상을 생성하는 3차원 처리 수단과, 3차원 표시가 수행될 때 3차원 화상의 단부가 표시 수단의 표시면으로부터 전방으로 입체시되는 경우에 단부의 적어도 일부에서의 입체감을 수정하여 단부의 적어도 일부를 표시면과 일치시키도록 복수의 화상 중 하나 이상의 화상을 수정하는 수정 수단을 포함하고, 3차원 처리 수단은 수정된 복수의 화상에 대해서 3차원 처리를 행한다.
본 발명에 의한 3차원 처리 방법은 시차를 갖는 복수의 화상에 대하여 3차원 표시를 위한 3차원 처리를 행해서 3차원 화상을 생성하는 3차원 처리 방법으로서, 3차원 표시가 수행될 때 3차원 화상의 단부가 표시 수단의 표시면으로부터 전방으로 입체시되는 경우에 단부의 적어도 일부에서의 입체감을 수정하여 단부의 적어도 일부를 표시면과 일치시키도록 복수의 화상 중 하나 이상의 화상을 수정하고, 수정된 복수의 화상에 대해서 3차원 처리를 행하는 것을 포함하는 방법이다.
본 발명은 본 발명의 3차원 처리 방법을 컴퓨터에 실행시키기 위한 프로그램의 형태로 제공될 수 있다.
본 발명에 의하면 3차원 표시가 수행될 때 3차원 화상의 단부가 표시 수단의 표시면으로부터 전방으로 입체시되는 경우에 단부의 적어도 일부에서의 입체감을 수정하여 단부의 적어도 일부를 표시면과 일치시키도록 복수의 화상 중 하나 이상의 화상을 수정하고, 3차원 처리가 수정된 화상에 대해서 행해진다. 따라서, 3차원 화상의 단부가 표시면으로부터 전방으로 입체시되는 입체감을 가질 때 화상의 입체감은 화상의 단부를 향해서 점차적으로 감소된다. 그러므로, 각각의 복수의 화상이 서로 보이지 않는 영역의 주위에 영역을 포함하는 경우에도 영역에서 입체감이 갑자기 없어지지 않으므로 3차원 화상의 단부에 자연스러운 외관을 제공하는 것이다.
도 1은 본 발명의 제 1 실시형태에 의한 3차원 표시 장치를 적용한 복안 카메라의 내부 구성을 예시하는 개략 블록도이며,
도 2는 촬영 유닛의 구성을 예시하는 도면이며,
도 3은 제 1 및 제 2 화상을 3차원 표시했을 경우의 입체감을 예시하는 도면이며,
도 4는 단부 영역이 제 1 화상에 설정된 상태를 예시하는 도면이며,
도 5는 제 1 실시형태에서 우측 영역에서의 대응점의 탐색을 설명하기 위한 도면이며,
도 6은 대응점 사이의 시차를 제 2 화상과 함께 예시하는 도면이며,
도 7은 제 1 실시형태에서 우측 영역에서의 오버라이팅 처리를 설명하기 위한 도면이며,
도 8은 제 1 실시형태에서 우측 영역에서의 오버라이팅 처리를 설명하기 위한 다른 도면이며,
도 9는 제 1 실시형태에서 수정 처리의 결과를 설명하기 위한 도면이며,
도 10은 제 1 실시형태에서 하측 영역에서의 대응점의 탐색을 설명하기 위한 도면이며,
도 11은 대응점 사이의 시차를 제 1 화상과 함께 예시하는 도면이며,
도 12는 제 1 실시형태에서 하측 영역의 오버라이팅 처리를 설명하기 위한 도면이며,
도 13은 제 1 실시형태에서 하측 영역의 오버라이팅 처리를 설명하기 위한 도면이며,
도 14는 제 1 실시형태에서 수정 처리의 결과를 설명하기 위한 도면이며,
도 15는 제 1 실시형태에서 실행되는 처리를 예시하는 플로우 챠트이며,
도 16은 제 2 실시형태에서 우측 영역에서의 대응점의 탐색을 설명하기 위한 도면이며,
도 17은 제 2 실시형태에서 우측 영역의 오버라이팅 처리를 설명하기 위한 도면이며,
도 18은 제 2 실시형태에서 하측 영역에서의 대응점의 탐색을 설명하기 위한 도면이며,
도 19는 제 2 실시형태에서 하측 영역의 오버라이팅 처리를 설명하기 위한 도면이며,
도 20은 제 2 실시형태에서 변형 영역의 화소와 변형 전 영역의 화소 사이의 대응 관계를 설명하기 위한 도면이며,
도 21은 제 2 실시형태에서 변형 영역의 화소와 변형 전 영역의 화소 사이의 대응 관계를 설명하기 위한 다른 도면이고,
도 22는 3차원 표시하기 위한 복수의 화상을 예시하는 도면이다.
이하, 본 발명의 실시형태가 도면을 참조해서 설명될 것이다. 도 1은 본 발명의 제 1 실시형태에 의한 3차원 표시 장치를 적용한 복안 카메라의 내부 구성을 예시하는 개략 블록도이다. 도 1에 나타낸 바와 같이, 제 1 실시형태에 의한 복안 카메라(1)는 2개의 촬영 유닛(21A, 21B), 촬영 제어 유닛(22), 화상 처리 유닛(23), 압축/신장 처리 유닛(24), 프레임 메모리(25), 미디어 제어 유닛(26), 내부 메모리(27), 및 표시 제어 유닛(28)을 구비한다. 또한, 촬영 유닛(21A, 21B)은 소정의 기선 길이 및 수렴각을 갖는 피사체를 촬영할 수 있게 배치되어 있다. 또한, 수직 방향의 촬영 유닛(21A, 21B)의 위치는 동일한 것으로 가정한다.
도 2는 촬영 유닛(21A, 21B)의 구성을 예시한다. 도 2에 나타낸 바와 같이, 촬영 유닛(21A, 21B)은 포커싱 렌즈(10A, 10B), 줌 렌즈(11A, 11B), 조리개(12A, 12B), 셔터(13A, 13B), CCD(14A, 14B), 아날로그 프론트 엔드(AFE)(15A, 15B), 및 A/D 변환 유닛(16A, 16B)을 각각 구비한다. 또한, 촬영 유닛(21A, 21B)은 포커싱 렌즈(10A, 10B)를 구동하는 포커싱 렌즈 구동 유닛(17A, 17B) 및 줌 렌즈(11A, 11B)를 구동하는 줌 렌즈 구동 유닛(18A, 18B)을 구비한다.
포커싱 렌즈(10A, 10B)는 피사체에 포커싱을 위해 사용되고 모터와 모터 드라이버로 형성되는 각각의 포커싱 렌즈 구동 유닛(17A, 17B)에 의해 광축 방향을 따라 이동가능하다. 포커싱 렌즈 구동 유닛(17A, 17B)은 후술하는 촬영 제어 유닛(22)에 의해 실행되는 AF 처리를 통해 얻어지는 초점 데이터에 의거하여 포커싱되는 포커싱 렌즈(10A, 10B)의 이동을 제어한다.
줌 렌즈(11A, 11B)는 줌 기능을 실현하기 위해 사용되고, 모터와 모터 드라이버로 형성되는 각각의 줌 렌즈 구동 유닛(18A, 18B)에 의해 광축 방향을 따라 이동가능하다. 줌 렌즈 구동 유닛(18A, 18B)은 입력 유닛(34)에 포함되는 줌 레버를 조작함으로써 CPU(33)에 얻어지는 줌 데이터에 의거하여 줌 렌즈(11A, 11B)의 이동을 제어한다.
조리개(12A, 12B)의 조리개 직경은 촬영 제어 유닛(22)에 의해 실행되는 AE 처리를 통해 얻어지는 조리개 값 데이터에 의거하여 조리개 구동 유닛(도시 생략)에 의해 조정된다.
셔터(13A, 13B)는 메커니컬 셔터이며 AE 처리를 통해 얻어지는 셔터 스피드에 따라 셔터 구동 유닛(도시 생략)에 의해 구동된다.
각각의 CCD(14A, 14B)는 다수의 수광 소자를 2차원적으로 배열한 광전면을 구비한다. 피사체의 광 화상이 각 광전면에 포커싱되고 광전 변환되어서 아날로그 촬영 신호가 얻어진다. 또한, R, G, B 컬러 필터가 규칙적으로 배열되어 형성되는 컬러 필터가 CCD(14A, 14B)의 전면에 배치된다.
AFE(15A, 15B)는 CCD(14A, 14B)로부터 출력되는 아날로그 촬영 신호를 처리하여 아날로그 촬영 신호로부터 노이즈를 제거하고 아날로그 촬영 신호의 게인을 조정한다(이 동작은 이하 "아날로그 처리"로 언급됨).
A/D 변환 유닛(16A, 16B)은 AFE(15A, 15B)에 의해 아날로그 처리가 실시된 아날로그 촬영 신호를 디지털 신호로 변환한다. 또한, 촬영 유닛(21A, 21B)에 의해 취득되는 디지털 화상 데이터에 의해 나타내어지는 화상은 각각 제 1 화상(G1) 및 제 2 화상(G2)으로 참조된다.
촬영 제어 유닛(22)은 AF 처리 유닛 및 AE 처리 유닛(도시 생략)을 구비한다. 입력 유닛(34)에 구비되는 릴리즈 버튼이 반 눌러질 때 촬영 유닛(21A, 21B)이 예비 화상을 취득한다. 그 후, AF 처리 유닛은 예비 화상에 의거하여 포커싱 영역과 렌즈(10A, 10B)의 초점 위치를 결정하고 정보를 촬영 유닛(21A, 21B)에 출력한다. AE 처리 유닛은 예비 화상의 밝기값으로부터 산출된 휘도 평가값에 의거하여 조리개 값과 셔터 속도를 결정하고 정보를 촬영 유닛(21A, 21B)에 출력한다.
AF 처리를 통한 초점 위치를 검출하기 위해 사용되는 방법으로서, 예를 들면 패시브 방법이 고려된다. 패시브 방법에서 포커싱된 초점은 포커싱된 소망하는 피사체를 포함하는 화상이 높은 대비값을 갖는 사실을 이용함으로써 검출된다. 보다 구체적으로, 각 예비 화상은 복수의 AF 영역으로 분할되고 각 AF 영역의 화상은 하이패스 필터를 사용해서 필터링된다. 그 후, 고주파 성분의 평가값인 AF 평가값을 AF 영역마다 산출하고 가장 높은 평균값, 즉 필터로부터 가장 높은 출력값을 갖는 AF 영역이 포커싱 영역으로서 검출된다.
릴리즈 버튼이 완전히 눌러지는 때 촬영 제어 유닛(22)은 촬영 유닛(21A, 21B)에 대해서 제 1 및 제 2 화상(G1, G2)의 실제 화상을 취득하는 실제 촬영을 실행할 것을 지시한다. 또한, 릴리즈 버튼이 조작되기 전에 촬영 제어 유닛(22)은 촬영 유닛(21A, 21B)에 대해서 촬영 범위를 체킹하기 위해 본 화상보다 화소수가 적은 라이브 화상을 소정 시간 간격(예를 들면, 1/30초 간격)으로 순차적으로 취득시키는 지시를 행한다.
화상 처리 유닛(23)은 촬영 유닛(21A, 21B)에 의해 취득되는 제 1 및 제 2 화상(G1, G2)의 디지털 화상 데이터에 대해서 화이트 밸런스 조정, 계조 보정, 샤프니스 보정, 및 색 보정 등의 화상 처리를 행한다. 본 명세서에서 화상 처리 유닛(23)에 의해 처리된 제 1 및 제 2 화상도 처리 전의 제 1 및 제 2 화상에 사용되는 동일 참조 부호(G1, G2)로 나타낸다.
압축/신장 처리 유닛(24)은 화상 처리 유닛(23)에 의해 처리가 실시되어, 후술하는 바와 같이 3차원 표시를 위해 제 1 및 제 2 화상(G1, G2)의 본 화상으로부터 생성된 3차원 화상을 나타내는 화상 데이터에 대해서 JPEG 등의 특정 압축 형식에 의한 압축 처리를 행하고, 3차원 표시를 위해 3차원 화상 파일을 생성한다. 이 3차원 화상 파일은 제 1 및 제 2 화상(G1, G2)의 화상 데이터 및 3차원 화상의 화상 데이터를 포함한다. 촬영 일시 등의 관련 정보를 저장하는 태그가, 예를 들면 Exif 포맷 등에 의거하여 화상 파일에 더해진다.
프레임 메모리(25)는 촬영 유닛(21A, 21B)에 의해 취득된 제 1 및 제 2 화상(G1, G2)을 나타내는 화상 데이터에 행해져 화상 처리 유닛(23)에 의해 처리를 포함하는 다양한 처리를 위한 공간을 제공한다.
미디어 제어 유닛(26)은 기록 미디어(29)에 액세스해서 기록 미디어(29)에 그리고 기록 미디어(29)로부터 3차원 화상 파일 등의 기입과 판독의 제어한다.
내부 메모리(27)는 촬영 유닛(21A, 21B)의 기선 길이 및 수렴각, 복안 카메라(1) 내에 설정되는 다양한 정수, 및 CPU(33)에 의해 실행되는 프로그램 등을 기억한다. 내부 메모리(27)는 후술하는 바와 같이, 수정 유닛(31)에 의해 실행되는 수정 처리 동안 설정되는 단부 영역의 범위의 정보도 기억한다.
표시 제어 유닛(28)은 촬영 동안 프레임 메모리(25)에 기억된 제 1 및 제 2 화상(G1, G2)을 모니터(20)에 2차원 표시하거나 기록 미디어(29)에 기록되어 있는 제 1 및 제 2 화상(G1, G2)을 모니터(20)에 2차원 표시한다. 또한, 표시 제어 유닛(28)은 후술하는 바와 같이, 3차원 처리가 행하여진 제 1 및 제 2 화상(G1, G2)을 모니터(20)에 3차원 표시하거나 기록 미디어(29)에 기록되어 있는 3차원 화상을 모니터(20)에 3차원 표시할 수 있다. 또한, 2차원 표시와 3차원 표시 사이의 스위칭은 자동으로 실행되거나 입력 유닛(34)을 통해 촬영자로부터의 지시에 의해 실행될 수 있다. 여기서, 제 1 및 제 2 화상(G1, G2)의 라이브 화상이 3차원 표시 동안 릴리즈 버튼이 눌러질 때까지 모니터(20)에 3차원 표시된다.
또한, 표시 모드가 3차원 표시로 스위칭될 때, 후술하는 바와 같이 제 1 및 제 2 화상(G1, G2) 양쪽이 표시에 사용되는 것에 주의한다. 대조적으로, 표시 모드가 2차원 표시로 스위칭될 때 제 1 및 제 2 화상(G1, G2) 중 하나가 표시에 사용된다. 본 실시형태에서 제 1 화상(G1)은 2차원 표시에 사용된다.
본 실시형태에 의한 복안 카메라(1)는 3차원 처리 유닛(30)을 구비한다. 3차원 처리 유닛(30)은 모니터(20)에 제 1 및 제 2 화상(G1, G2)의 3차원 표시를 위해서 제 1 및 제 2 화상(G1, G2)에 3차원 처리를 행한다. 본 실시형태에 사용되는 3차원 표시 기술은 어떤 공지된 기술일 수 있다. 예를 들면, 제 1 및 제 2 화상(G1, G2)은 나란히 배열되어 육안의 시력 평형법에 의해 입체시를 실현하거나, 렌티큘러 시스템 또는 렌티큘러 렌즈가 모니터(20)에 부착되어 화상(G1, G2)이 모니터(20)의 표시면에 소정 위치에 표시되어 제 1 및 제 2 화상(G1, G2)이 좌우의 눈에 의해 각각 뷰잉되어 3차원 표시를 실현하기 위해 사용될 수 있다. 또한, 스캔 백라이트 시스템은 모니터(20)의 백라이트의 광로를 광학적으로 분리하여 3차원 표시를 실현하거나, 대안의 방법으로 좌우의 눈에 대응하도록 제 1 및 제 2 화상(G1, G2)을 좌우의 백라이트의 분리에 따라 모니터(20)의 표시면에 교대로 표시함으로써 사용될 수 있다.
모니터(20)는 3차원 처리 유닛(30)에 의해 실행되는 3차원 처리의 방식에 의해 수정된다. 예를 들면, 3차원 표시가 렌티큘러 시스템으로 실행되면 렌티큘러 렌즈가 모니터(20)의 표시면에 부착된다. 3차원 표시가 스캔 백라이트 시스템으로 실행되면 좌우 화상으로부터의 광선 방향을 변경하기 위한 광학 소자가 모니터(20)의 표시면에 부착된다.
도 3은 제 1 및 제 2 화상(G1, G2)이 3차원 표시된 때 얻어지는 입체감을 예시한다. 본 실시형태에서 3차원 표시는 제 1 및 제 2 화상(G1, G2)을 교대로 표시함으로써 스캔 백라이트 시스템으로 실현된다. 또한, 3차원 화상은 전체 화상이 모니터(20)의 표시면(20A)으로부터 전방으로 입체시되는 입체감을 갖는다. 도 3에 나타낸 바와 같이, 제 1 및 제 2 화상(G1, G2)이 3차원 표시될 때 3차원 화상은 화상이 모니터(20)의 표시면(20A)으로부터 전방으로 입체시되어 육안으로 보일 수 있다. 그러나, 제 1 및 제 2 화상(G1, G2)은 피사체를 다른 시점으로부터 촬영함으로써 취득되므로, 도 22에 나타낸 바와 같이, 제 1 및 제 2 화상(G1, G2)은 그들의 단부에 다른 화상에 포함되지 않는 각각의 영역(A51, A52)을 포함한다. 따라서, 3차원 화상 상에 왼쪽 눈에 의해 보이는 범위(HL)와 오른쪽 눈에 의해 보이는 범위(HR)가 다르고, 이것은 3차원 화상 상에 보이는 왼쪽 눈에 의해서만 보이는 부분(BL)과 오른쪽 눈으로만 보이는 부분(BR)이 나타나게 된다.
이 방법으로 3차원 화상 상에 왼쪽 눈으로만 보이는 부분(BL)과 오른쪽 눈으로만 보이는 부분(BR)이 있을 때 입체시 가능한 부분이 전방으로 입체시되어 입체감이 가능한 인접한 부분(BL, BR)이 경계에서 갑자기 없어지므로 3차원 화상이 매우 부자연스럽게 보인다.
그러므로, 본 실시형태에서 수정 유닛(31)이 하나 이상의 제 1 및 제 2 화상(G1, G2)을 수정하도록 제공되고, 3차원 처리 유닛(30)이 수정 유닛(31)에 의해 수정된 제 1 및 제 2 화상(G1, G2)을 3차원 처리를 행한다. 본 실시형태에서 수정 유닛(31)은 제 2 화상(G2)만 수정한다. 이제, 수정 유닛(31)에 의해 실행되는 처리가 설명된다.
먼저, 수정 유닛(31)은 제 1 및 제 2 화상(G1, G2) 중 제 1 화상(G1)을 기준 화상으로 설정하고, 제 1 화상(G1)의 주위에 소정 범위의 단부 영역을 설정한다. 도 4는 단부 영역이 제 1 화상(G1)의 주위에 설정된 상태를 예시한다. 또한, 제 1 및 제 2 화상(G1, G2)은, 도 4에 나타낸 바와 같이, 산을 배경으로서 두 사람(P1, P2)과 산과 사람(P1, P2) 사이에 건물을 각각 포함하는 것으로 가정한다. 도 4에 나타낸 바와 같이, 수정 유닛(31)은 제 1 화상(G1)의 주위에 단부 영역(EL)을 설정한다. 여기서, 단부 영역(EL)은 우측 영역(EL1), 좌측 영역(EL2), 상측 영역(EL3), 및 하측 영역(EL4)의 4개의 영역으로 구분된다. 또한, 우측 영역(EL1) 및 좌측 영역(EL2)의 수평 방향의 폭은 "a", 하측 영역(EL3) 및 상측 영역(EL4)의 수직 방향의 폭을 "b"로 한다. 또한, 단부 영역의 폭(a 및 b)의 정보는 내부 메모리(27)에 기억된다.
그 후, 수정 유닛(31)은 제 1 화상(G1)의 단부 영역(EL)에 화소의 대응하는 제 2 화상(G2)에서 포인트를 탐색한다. 여기서, 수직 방향에서 촬영 유닛(21A, 21B)의 위치는 동일하므로 수정 유닛(31)은 단부 영역(EL) 내의 각 화소에 대해서 블록의 중심에 위치하는 화소와 소정 사이즈를 갖는 블록을 설정하고, 블록을 x방향으로만 이동하면서 상관값을 산출하는 블록 매칭을 실행한다. 그 후, 가장 큰 상관을 지시하는 상관값을 갖는 제 2 화상(G2) 상의 화소가 대상의 화소에 대응점으로서 탐색된다.
이어서, 수정 유닛(31)은 탐색된 대응점 사이의 시차를 산출하고, 단부 영역(EL) 내의 4개의 영역, 즉 우측 영역(EL1), 좌측 영역(EL2), 상측 영역(EL3), 및 하측 영역(EL4)의 각각에 대해서 산출된 시차에 의거하여 제 1 및 제 2 화상(G1, G2)을 3차원 표시했을 때 입체시에서 모니터(20)의 표시면으로부터 전방으로 입체시되는 부분을 포함할지 여부를 판정한다. 그 후, 긍정된 영역에 대해서 수정 처리를 행하는 수정 유닛(31)이 이루어진다.
이제, 우측 영역(EL1)이 입체시에서 모니터(20)의 표시면으로부터 전방으로 입체시되는 부분을 포함하는 것으로 판정되었을 때 실행되는 처리가 기재된다. 먼저, 수정 유닛(31)은 제 1 화상(G1)의 우측 영역(EL1)에서 각 화소에 대응하는 제 2 화상(G2)에서의 점을 탐색한다. 도 5는 제 1 실시형태에서 대응점의 탐색을 설명하기 위한 도면이다. 도 5에 나타낸 바와 같이, 수정 유닛(31)은 제 1 화상(G1)의 우측 영역(EL1)의 좌단에서 y방향으로 정렬되는 화소의 화소열(40)(사선으로 지시됨)을 설정하고, 화소열(40)의 각 화소에 대해 제 2 화상(G2)에서 대응점을 탐색한다. 대응점은 상기 판정 동안 탐색되고 있으므로 상기 판정에 의해 탐색된 대응점이 이 동작에 사용될 수 있는 것에 주의한다.
이에 따라, 도 5에 나타낸 바와 같이, 화소열(40)에서 화소에 대응하는 제 2 화상(G2)에서 대응점이 탐색된다. 제 1 화상(G1)에서 화소열(40)에서 화소는 제 2 화상(G2)에서 탐색된 대응점을 탐색해서 대응하는 점이다. 그러므로, 이후의 설명에서, 제 1 화상(G1)에서 화소열의 각 화소가 대응점으로서 참조될 수 있다. 도 5 및 이후의 설명에서 대응점 및 화소열의 각 화소가 설명의 용이함을 위해 실제 화소보다 크게 도시된 것에 주의한다.
본 실시형태에서 좌표계는 제 1 및 제 2 화상(G1, G2)에서 공통의 위치(화상의 좌상측 코너의 위치)를 원점으로 해서 수평 방향을 x방향, 수직 방향을 y방향으로 설정된다. 설정되는 그러한 좌표계로 제 1 및 제 2 화상(G1, G2) 상의 대응점 사이의 x방향에서 위치의 차이가 대응점 사이의 시차이다. 시차가 클수록 입체감이 커진다. 도 6은 대응점 사이의 시차를 제 2 화상(G2)과 함께 예시한다. 도 6에 나타낸 바와 같이, 사람(P2)에 대응하는 대응점 사이의 시차는 크고 건물에 대응하는 시차는 마이너스 값을 갖는다. 또한, 화소열(40)에서 산 부분은 제 2 화상(G2)의 화각에서 아웃되고, 제 2 화상(G2)에는 포함되지 않으므로 대응점은 탐색되지 않는다.
이어서, 수정 유닛(31)은 제 1 화상(G1)의 화소열(40)에서 대응점이 탐색된 화소의 우측 화소열에서 직선 영역을 대응점 사이의 시차를 따라 x방향으로 확대하고, 확대 영역을 제 2 화상(G2)에 오버라이팅하는 오버라이팅 처리를 실행한다. 도 7은 제 1 실시형태에서 오버라이팅 처리를 설명하기 위한 도면이다. 또한, 도 7에서 1개 화소(C1)만이 설명의 용이함을 위해서 오버라이팅 처리의 대상이 되는 화소로서 사선의 해칭으로 지시된다. 수정 유닛(31)은 대상의 화소(C1)의 우측의 화소열에 의해 형성되는 직선 영역(A1)을 설정한다. 대상의 화소(C1)와 대상의 화소(C1)에 대응하는 대응점(C2) 사이의 시차를 d1으로 가정하면 영역(A1)의 폭은 a이고, 수정 유닛(31)은 수평 방향으로 (a+d1)/a배로 영역(A1)을 확대하고 확대 영역(A1')을 생성한다.
그 후, 수정 유닛(31)은 제 2 화상(G2)에서 확대 영역(A1')을 제 2 화상(G2)에 대응점(C2)의 확대 영역의 좌단을 일치시켜서 오버라이팅한다. 확대 영역(A1')은 영역(A1)을 수평 방향으로 (a+d1)/a배로 확대함으로써 생성되므로 확대 영역(A1')이 제 2 화상(G2)에 오버라이팅된 때 확대 영역(A1')의 우단의 화소와 제 2 화상(G2)의 우단의 화소에 일치하는 것에 주의한다. 이 오버라이팅 처리를 제 2 화상(G2)에서 탐색된 모든 대응점에 대해 실행함으로써 도 8에 나타낸 바와 같이, 제 2 화상(G2)에서 대응점의 우측의 화소열에 의해 생성되는 영역이 확대 영역(A1')으로 오버라이팅된다.
반면에, 좌측 영역(EL2)이 모니터(20)의 표시면으로부터 전방으로 입체시되는 부분을 포함하는 것으로 판정되면 수정 유닛(31)은, 도 5에 나타낸 바와 같이, 제 1 화상(G1)에서 좌측 영역(EL2)의 우단에서 y방향으로 정렬되는 화소의 화소열(41)을 설정하고, 화소열(41)에서 각 화소에 대응하는 제 2 화상(G2)에서 대응점을 탐색한다. 그 후, 수정 유닛(31)은 화소열(41)에서 각 화소의 좌측의 화소열에 의해 형성되는 영역을 대응점 사이의 시차를 따라 축소하고, 확대 영역을 제 2 화상(G2)에서 대응점의 좌측에 오버라이팅하여 수정 처리를 달성한다.
이 방법으로 수정 처리를 행함으로써 화소열(40)에 대응하는 제 2 화상(G2)에서 대응점으로부터 우측의 영역과 제 1 화상(G1)의 우측 영역(EL1)의 시차는 우단을 향해 점차적으로 감소되어 시차가 0이 된다. 또한, 화소열(41)에 대응하는 제 2 화상(G2)에서 대응점의 좌측의 영역과 제 1 화상(G1)의 좌측 영역(EL2) 사이의 시차는 좌단을 향해 점차적으로 감소되어 시차가 좌단에서 0이 된다. 그러므로, 제 1 및 제 2 화상(G1, G2)이 3차원 표시된 때, 도 9에 나타낸 바와 같이, 왼쪽 눈 또는 오른쪽 눈으로만 보이는 그러한 어떤 부분도 없고 입체감이 좌우의 단부를 향해서 점차적으로 감소된다. 또한, 도 9에서 3차원 화상의 영역(E1)은 단부 영역(EL)의 우측 영역(EL1)에 대응하고, 3차원 화상의 영역(E2)은 단부 영역(EL)의 좌측 영역(EL2)에 대응하는 것에 주의한다.
이어서, 하측 영역(EL3)이 입체시에서 모니터(20)의 표시면으로부터 전방으로 입체시되는 부분이 존재하는 것으로 판정되는 때 실행되는 수정 처리가 기재된다. 도 10은 제 1 실시형태에서 단부 영역의 하측 영역에 대응점의 탐색을 설명하기 위한 도면이다. 도 10에 나타낸 바와 같이, 수정 유닛(31)은 제 1 화상(G1)에서 하단 영역(EL3)의 상단에서 x방향으로 정렬되는 화소의 화소열(50)(사선의 해칭으로 나타냄)을 설정하고, 화소열(50)에서 각 화소에 대응하는 제 2 화상(G2)에서 대응점을 탐색한다. 또한, 대응점의 탐색은 상기 기재된 바와 같이 동일 방법으로 실행하는 것에 주의한다. 따라서, 도 10에 나타낸 바와 같이, 화소열(50)의 각 화소에 대응하는 제 2 화상(G2)에서 대응점이 탐색된다.
도 11은 대응점 사이의 시차를 제 1 화상(G1)과 함께 예시한다. 도 11에 나타낸 바와 같이, 시차는 사람(P1, P2)에 대응하는 대응점 사이에서 크다. 또한, 사람(P1)의 좌측에 대응하는 제 1 화상(G1)의 부분은 제 2 화상(G2)에서 사람(P1)에 의해 가려지므로 대응점은 제 1 화상(G1)에서 사람(P2)의 좌측의 영역에 대해 탐색되지 않는다. 따라서, 시차는 산출되지 않는다.
여기서, 화소열(50)에서 각 화소에 대해 본 대응점의 시차를 dL(xL), 제 2 화상(G2)에서 탐색된 대응점과 본 화소열(50)에서 대응하는 화소 사이의 시차가 dR(xR)이고, 제 1 화상(G1)에서 단부 영역(EL)의 하측 영역(EL3)에서 각 화소의 좌표가 (xL, yL), 하측 영역(EL3)에 대응하는 제 2 화상(G2)의 하측 영역(ER3)에서 각 화소의 좌표가 (xR, yR)로 가정된 후, 좌표계는 좌상측 코너를 제 1 및 제 2 화상(G1, G2)에서 원점으로 설정되므로 제 1 화상(G1)에서 화소(xL, yL)에 대응하는 제 2 화상(G2)에서 대응점의 좌표는 이하 식으로 구해질 수 있다.
(xR, yR)=[xL-dL(xL), yL]
또한, 제 2 화상(G2)에서 화소(xR, yR)에 대응하는 제 1 화상(G1)에서 대응점의 좌표는 이하 식으로 구해질 수 있다.
(xL, yL)=[xR+dR)(xR), yR]
수정 유닛(31)은 이하의 식(1)에 의해 산출되는 제 1 화상(G1)에서 화소의 화소값으로 제 2 화상(G2)의 하측 영역(ER3)에서 화소(xR, yR)의 화소값을 오버라이팅한다.
[xR-dR(xR)×(yR-h)/b, yR] (1)
여기서, h는 제 1 및 제 2 화상(G1, G2)의 높이 방향의 화소수를 나타내고, b는 수직 방향의 하측 영역(EL3)의 폭을 나타낸다.
도 12는 제 1 실시형태에서 하측 영역에 대해 오버라이팅 처리를 설명하기 위한 도면이다. 설명을 위해 도 12는 하측 영역(EL3)이 제 1 화상(G1)에만 설정된 상태를 나타낸다. 또한, 여기에서 화상은 한사람만 포함하는 것으로 가정된다. 먼저, 도 12에 나타낸 바와 같이, 제 1 및 제 2 화상(G1 및 G2)에서 하측 영역(EL3 및 ER3)의 상단부의 대응점이 C11 및 C12라고 가정하면 대응점(C11)의 y좌표는 h-b이다. 따라서, 식 (1)을 적용하면 대응점(C12)의 좌표는 제 1 화상(G1)에서 이하에 대응한다.
[xR-dR(xR)×(h-b-h)/b, yR]=[xR+dR(xR), yR]
따라서, 제 2 화상(G2)에서 하측 영역(ER3)의 상단부의 화소는 제 1 화상(G1)에서 대응점의 화소값으로 오버라이팅된다. 즉, 제 2 화상(G2)에서 화소(C12)는 그 대응점(C11)의 화소값으로 오버라이팅된다.
반면에, 제 2 화상(G2)에서 하측 영역(ER3) 하단부의 화소(C13)에 대해서 화소(C13)의 y좌표는 h이다. 따라서, 식 (1)을 적용하면 화소(C13)의 좌표는 제 1 화상(G1)에서 이하에 대응한다.
[xR-dR(xR)×(h-h)/b, yR]=(xR, yR)
이것은 제 2 화상(G2)에서 하단부의 화소가 제 1 화상(G1)에서 동일한 좌표를 갖는 화소의 화소값으로 오버라이팅되는 것을 의미한다. 즉, 제 1 화상(G1)에서 화소(C11)로서 동일한 x좌표를 갖는 화소 중 하측 영역(EL3)의 하단에 화소(C14)의 화소값이 화소(C14)로서 동일한 좌표값을 갖는 제 2 화상(G2)에서 화소(C15)로 오버라이팅된다.
따라서, 제 1 화상(G1)의 하측 영역(EL3)에서 화소(C11 및 C14) 사이의 y방향으로 일련의 화소로 형성되는 영역(A11)은, 도 12에 나타낸 바와 같이, 제 2 화상(G2)의 하측 영역(ER3)에서 화소(C12 및 C15)를 접속하는 경사 방향으로 변형되어 얻어진 변형 영역(A11')이 화소(C12)를 포함하는 영역과 제 2 화상(G2)에서 아래의 화소에 오버라이팅된다. 실제로, 화소의 위치는 소수점의 수로 나타낼 수 없으므로 대응하는 화소에 인접하는 화소로부터 얻어지는 보간값이 오버라이팅을 위해 사용되는 것에 주의한다.
이 방법으로 수정 처리를 실행함으로써, 도 13에 나타낸 바와 같이, 제 2 화상(G2)의 하측 영역(ER3)은 제 2 화상(G2)과 제 1 화상(G1) 사이의 시차가 화상이 하측 영역(ER3)의 상단으로부터 하단으로 점차적으로 감소되도록 변형된다. 또한, 이러한 수정 처리가 실행된 때 제 2 화상(G2)은 대응점이 탐색될 수 없는 사람의 좌측의 영역에 존재하면, 도 13에 나타낸 바와 같이, 제 2 화상(G2)에서 영역(A4) 등의 영역은 화소값에 대응하여 오버라이팅될 수 없다. 그러므로, 수정 유닛(31)은 영역(A4)에 대응하는 제 1 화상(G1)에서 위치의 영역(A5)을 추출하고, 영역(A4)을 영역(A5)으로 오버라이팅한다.
반면에, 상측 영역(EL4)이 입체시에서 모니터(20)의 표시면으로부터 전방으로 입체시되는 부분을 존재하는 것으로 판정되면 수정 유닛(31)은, 도 10에 나타낸 바와 같이, 제 1 화상(G1)에서 상측 영역(EL4)의 하단에서 x방향으로 정렬되는 화소의 화소열(51)을 설정하고, 화소열(51)에서 각 화소에 대응하는 제 2 화상(G2)에서 점을 탐색한다. 그 후, 수정 유닛(31)은 대응점 사이의 시차에 의해 이하 식 (2)에 따라 산출된 제 1 화상(G1)에서 화소의 화소값으로 제 2 화상(G2)에서 상측 영역의 각 화소의 화소값을 오버라이팅하는 수정 처리를 실행한다.
[xR-dR(xR)×(-yR)/b, yR] (2)
이 방법으로 수정 처리를 실행함으로써 제 1 화상(G1)에서 하측 영역(EL3)과 화소열(50)에 대응하는 제 2 화상(G2)에서 대응점 아래의 영역 사이의 시차는 하단을 향해 점차적으로 시차가 감소되고 시차는 하단에서 0이 된다. 대조적으로, 제 1 화상(G1)에서 상측 영역(EL4)과 화소열(51)에 대응하는 제 2 화상(G2)에서 대응점 위의 영역 사이의 시차는 상단을 향해 점차적으로 감소되고 시차는 상단에서 0이 된다. 따라서, 제 1 및 제 2 화상(G1, G2)이, 도 14에 나타낸 바와 같이, 3차원 표시된 때 3차원 화상의 상하 부분은 입체감이 화상의 단부를 향해서 점차적으로 감소된다. 도 14에서 3차원 화상의 영역(E3)은 단부 영역(EL)의 하측 영역(EL3)에 대응하고, 3차원 화상에서 영역(E4)은 단부 영역(EL)의 상측 영역(EL4)에 대응하는 것에 주의한다.
CPU(33)는 릴리즈 버튼 등을 구비하는 입력 유닛(34)을 통해 입력되는 신호에 의해 복안 카메라(1)의 다양한 유닛을 제어한다.
데이터 버스(35)는 복안 카메라(1)를 형성하는 다양한 유닛 및 복안 카메라(1)에서 다양한 데이터 및 다양한 정보의 교환을 위해 CPU(33)에 접속된다.
이어서, 제 1 실시형태에서 실행되는 처리가 기재된다. 도 15는 제 1 실시형태에서 실행되는 처리를 예시하는 플로우 챠트이다. 3차원 표시되는 화상은 라이브 뷰 화상이거나 기록 미디어(29)에 기록된 화상일 수 있는 것에 주목해야 한다.
CPU(33)는 촬영자에 의해 촬영 또는 기록 미디어(29)에 기록된 화상의 표시의 지시가 되었는지 여부를 감시한다(스텝 ST1). 스텝 ST1에서 결정이 긍정되면 수정 유닛(31)이 제 1 화상(G1)에서 단부 영역(EL)을 설정한다(스텝 ST2). 그 후, 제 1 화상(G1)의 단부 영역(EL)에서 각 화소에 대응하는 점이 탐색되고(스텝 ST3), 대응점 사이의 시차가 산출된다(스텝 ST4). 그 후, 4개의 영역, 즉 단부 영역(EL)의 우측 영역(EL1), 좌측 영역(EL2), 상측 영역(EL3), 및 하측 영역(EL4)의 각각에 대해서 결정은 제 1 및 제 2 화상(G1, G2)이 시차에 의거한 3차원 표시를 위해 표시될 때 입체시에서 모니터(20)의 표시면으로부터 전방으로 입체시되는 부분이 존재할지 여부로서 이루어진다(스텝 ST5).
스텝 ST5에서 결정이 긍정되면 수정 유닛(31)은 제 2 화상(G2)의 단부 영역에서 모니터(20)의 표시면으로부터 전방으로 입체시되는 입체감을 갖는 영역에 대응점 사이의 시차에 의거한 상술한 바와 같은 방법으로 수정 처리를 행한다(스텝 ST6). 그 후, 3차원 처리 유닛(30)이 제 1 화상(G1) 및 수정된 제 2 화상(G2)에 대해서 3차원 처리를 행한다(스텝 ST7). 그 후, 표시 제어 유닛(28)은 이렇게 얻어진 3차원 화상을 모니터(20)에 3차원 표시하고(스텝 ST8) 처리를 종료한다.
반면에, 스텝 ST5에서 결정이 부정되면 이것은 3차원 화상의 단부는 3차원 화상이 3차원 표시를 위해 표시된 때 입체시에서 모니터(20)의 표시면보다 깊은 위치에서 나타나서 3차원 화상의 단부에서 입체감이 갑자기 없어진 때에도 3차원 화상이 부자연으로 보이지 않는 것을 의미한다. 그러므로, 수정 유닛(31)은 수정 처리를 실행하지 않는다. 그 후, 3차원 처리 유닛(30)이 스텝 ST7에서 제 1 및 제 2 화상(G1, G2)에 대해서 3차원 처리를 행하고 처리가 스텝 ST8로 진행된다.
상술한 바와 같이, 제 1 실시형태에서 3차원 화상의 단부는 제 1 및 제 2 화상(G1, G2)이 3차원 표시된 때 입체시에서 모니터(20)의 표시면으로부터 전방으로 입체시되면, 제 2 화상(G2)은 단부에서 입체감을 모니터(20)의 표시면의 입체감을 점차적으로 일으키도록 수정한 후 3차원 처리가 제 1 화상(G1) 및 수정된 제 2 화상(G2)에 대해서 행해진다. 따라서, 3차원 화상의 단부가 표시면으로부터 전방으로 입체시되는 입체감을 갖는 경우에도 화상의 입체감은, 도 9 및 도 14에 나타낸 바와 같이, 화상의 단부를 향해서 점차적으로 감소된다. 따라서, 제 1 및 제 2 화상(G1, G2)이 화상의 서로 보이지 않는 주위의 영역에 존재할 경우에도 영역에서 입체감이 갑자기 없어지지 않으므로 3차원 화상의 단부에서 자연스러운 외관을 제공한다.
이어서, 본 발명의 제 2 실시형태가 기재된다. 또한, 제 2 실시형태의 복안 카메라는 제 1 실시형태에 의한 복안 카메라(1)와 수정 유닛(31)에 의해 실행되는 처리에서만 다르므로 구성에 대해서 상세한 설명은 여기에서 생략되는 것에 주의한다. 수정 처리는 제 1 실시형태에서 제 1 화상(G1)의 단부 영역을 확대 또는 변형한 영역으로 제 2 화상(G2)을 오버라이팅함으로써 실행되지만 제 2 실시형태에서 수정 처리는 제 2 화상(G2)의 확대 또는 변형한 영역에서 제 2 화상(G2)을 오버라이팅함으로써 실현된다.
이제, 제 2 실시형태에 의한 수정 처리가 기재된다. 먼저, 단부 영역(EL)의 우측 영역(EL1)이 입체시에서 모니터(20)의 표시면으로부터 전방으로 입체시되는 부분이 존재하는 것으로 판정되면, 수정 유닛(31)은 상기 제 1 실시형태와 같은 방법으로 제 1 화상(G1)에서 우측 영역(EL1)의 좌단에서 y방향으로 정렬되는 화소의 화소열(40)을 설정하고, 화소열(40)에서 각 화소에 대응하는 제 2 화상(G2)에서의 점을 탐색한다. 또한, 제 2 실시형태에서 수정 유닛(31)은 제 1 화상(G1)의 우측 영역(EL1)의 우단(즉, 제 1 화상(G1)의 우단)에서 y방향으로 정렬되는 화소의 화소열(42)을 설정하고, 화소열(42)에서 각 화소에 대응하는 제 2 화상(G2)에서 점을 탐색한다. 따라서, 도 5에 나타낸 화소열(40)에서 화소에 대응하는 대응점에 추가해서 도 16에 나타낸 바와 같이, 화소열(42)에서 화소에 대응하는 대응점이 탐색된다.
그 후, 수정 유닛(31)은 제 1 화상(G1)에서 화소열(40, 41)에 대응하는 제 2 화상(G2)의 대응점 중 수평 방향으로 정렬되는 대응점 사이의 화소열에 의해 형성되는 영역을 대응점 사이의 시차에 따라 x방향으로 확대되고, 확대 영역을 제 2 화상(G2)에 오버라이팅하는 오버라이팅 처리를 실행한다. 도 17은 제 2 실시형태에서 오버라이팅 처리를 설명하기 위한 도면이다. 또한, 도 17에서 대응점(C21, C22)만 제 2 화상(G2)에서 오버라이팅 처리되는 사선의 해칭으로 지시되는 것에 주목해야 한다. 여기서, 오버라이팅 처리에서 대상의 화소에 대해 화소열(40)에 대해서 대응점 사이의 시차를 d1, 화소열(42)에 대해서 대응점 사이의 시차가 d2로 가정한 후, 수정 유닛(31)은 제 2 화상(G2)에서 화소열(40)에 대해서 대응점(C21)과 화소열(42)에 대해서 대응점(C22) 사이의 화소에 의해 형성되는 영역(B2)을 수평 방향으로 (a+d1)/(a+d1-d2)배로 확대해서 확대 영역(B2')을 생성한다. 또한, a+d1은 대응점(C21)으로부터 제 2 화상(G2)의 단부까지의 거리이고, (a+d1-d2)는 영역(B2)의 폭인 것에 주목해야 한다.
그 후, 수정 유닛(31)은 확대 영역(B2')을 제 2 화상(G2)에서 대응점(C21)과 좌단을 일치시켜서 제 2 화상(G2)에 오버라이팅한다. 또한, 확대 영역(B2')은 영역(B2)을 수평 방향으로 (a+d1)/(a+d1-d2)배로 확대하여 생성하므로 확대 영역(B2')이 제 2 화상(G2)에 오버라이팅될 때 확대 화상(B2')의 우단이 제 2 화상(G1)의 우단에 일치된다. 수정 유닛(31)은 제 2 화상(G2)에서 탐색된 모든 대응점에 대해 오버라이팅 처리를 실행한다.
이 방법으로 수정 처리를 실행함으로써 화소열(40)에 대응하는 제 2 화상(G2)에서 대응점의 우측의 영역과 제 1 화상(G1)에서 우측 영역(EL1)의 사이의 시차가 우단을 향해 점차적으로 감소되어 시차가 우단에서 0이 된다. 따라서, 제 1 및 제 2 화상(G1, G2)이 3차원 표시된 때, 도 9에 나타낸 바와 같이, 왼쪽 눈 또는 오른쪽 눈에만 보이는 어떤 부분도 없고, 특히 입체감이 우단부를 향해 점차적으로 감소된다. 또한, 제 2 화상(G2)이 제 2 화상(G2)으로 오버라이팅되므로 생기는 화상은 상기 제 1 실시형태에서 생기는 화상보다 더 자연스럽게 보인다.
이어서, 제 2 실시형태에서 하측 영역(EL3)이 입체시에서 모니터(20)의 표시면으로부터 전방으로 입체시되는 부분을 존재하는 것으로 판정되는 경우에 실행되는 수정 처리가 기재된다. 먼저, 수정 유닛(31)은, 도 10에 나타낸 바와 같이, 수정 유닛(31)은 제 1 화상(G1)에서 하단 영역(EL3)의 상단에 x방향으로 화소열(50)을 설정하고, 화소열(50)에서 각 화소에 대응하는 제 2 화상(G2)에서의 점을 탐색한다. 또한, 제 2 실시형태에서 수정 유닛(31)은, 도 18에 나타낸 바와 같이, 제 1 화상(G1)에서 하측 영역(EL3)의 하단[즉, 제 1 화상(G1)의 하단]에 x방향으로 정렬되는 화소의 화소열(52)을 설정하고, 화소열(52)에서 각 화소에 대응하는 제 2 화상(G2)에서의 점을 탐색한다. 따라서, 도 10에 나타낸 화소열(50)에서 화소의 대응하는 대응점에 추가해서 도 18에 나타낸 바와 같이, 화소열(52)의 화소에 대응하는 대응점이 탐색된다.
도 19는 제 2 실시형태에서 하측 영역에 대해 오버라이팅 처리를 설명하기 위한 도면이다. 도 19에서 설명을 위해 하측 영역(EL3)만 제 1 화상(G1)에 설정된 상태를 나타낸다. 화상은 한사람만 포함하는 것으로 가정된다. 먼저, 도 19에 나타낸 바와 같이, 제 1 화상(G1)에서 하측 영역(EL3)의 상단부의 화소가 C31이고, 하측 영역(EL3)의 하단부에 화소(C31)로서 동일 x좌표를 갖는 화소가 C32이고, 화소(C31, C32)에 대응하는 제 2 화상(G2)에서 점은 각각 C33, C34이다.
제 2 실시형태에서, 제 2 화상(G2)에서 대응점(C33, C34)에 접속되는 직선상의 화소열로 형성되는 영역(A21)은 화소(C32)와 대응점(C34) 사이의 시차에 의해 x방향으로 이동하도록 변형되어서 얻어지는 변형 영역(A22)이 제 2 화상(G2)에 오버라이팅된다. 여기서, 제 1 화상(G1)에서 화소(C32)로서 동일한 좌표를 갖는 제 2 화상(G2)에서 화소가 C35로 가정하면 변형 영역(A22)은 대응점(C33)과 화소(C35)를 접속하는 직선상의 화소열로 형성되는 영역이다.
도 20은 변형 영역(A22)의 화소와 변형 전의 영역(A21)의 화소 사이의 대응 관계를 설명하기 위한 도면이다. 또한, 도 20은 제 1 화상(G1)에서 하측 영역(EL3)과 제 2 화상(G2)에서 대응하는 하측 영역(ER3)을 나타낸다. 여기서, 대응점(C33)의 좌표는 (xRl, yRl)(xRl, h-b)이고, 대응점(C34)의 좌표는 (xR2, yR2)=(xR2, h)이고, 화소(C35)의 좌표는 (xR3, yR3)이고, 변형 영역(A22)에서 화소는 (xp, yp)이다. 대응점(C34)의 x좌표(xR2) 및 대응점(C34)과 화소(C32) 사이의 시차[dR(xR2)]를 사용하면 화소(C35)의 좌표는 이하 식으로 나타낼 수 있다.
(xR3, yR3)=[xR2+dR(xR2), h]
따라서, 변형 영역(A22)에서 화소(xp, yp)는 이하의 식 (3)으로 나타내는 위치에 제 2 화상(G2)의 화소에 대응한다.
[xp-dR(xR2)×(yp-h+b)/b, yp] (3)
식 (3)에 의해 산출된 제 2 화상(G2)에서 화소의 화소값으로 화소(xp, yp)를 오버라이팅함으로써 제 2 화상(G2)의 하측 영역(EL3)은 변형 영역(A22)으로 오버라이팅된다. 또한, 실제로는 화소의 위치는 소수점으로 나타낼 수 없으므로 대응하는 화소에 인접하는 화소로부터 얻어지는 보간값이 오버라이팅을 위해 사용되는 것에 주목해야 한다.
반면에, 상측 영역(EL4)이 입체시에서 모니터(20)의 표시면으로부터 전방으로 입체시되는 부분이 존재하는 것으로 판정될 때 수정 유닛(31)은, 도 10에 나타낸 바와 같이, 제 1 화상(G1)에서 상측 영역(EL4)의 하단에 x방향으로 화소열(51)을 설정하고, 화소열(51)에서 각 화소에 대응하는 제 2 화상(G2)에서 점을 탐색한다. 또한, 도 18에 나타낸 바와 같이, 수정 유닛(31)은 제 1 화상(G1)에서 상측 영역(EL4)의 상단에서 y방향으로 정렬되는 화소의 화소열(53)을 설정하고, 화소열(53)에서 각 화소에 대응하는 제 2 화상(G2)에서 점을 탐색한다. 그 후, 화소열(51)의 각 화소에 대응하는 대응점 및 화소열(53)의 각 화소에 대응하는 점 사이에 제 2 화상(G2)에서 화소열에 의해 형성되는 영역이 변형되고, 제 2 화상(G2)이 변형 영역으로 오버라이팅된다.
도 21은 제 2 실시형태에서 상측 영역에 대해 수정 처리를 설명하기 위한 도면이다. 도 21은 제 1 화상(G1)에서 상측 영역(EL4)에 대응하는 제 2 화상(G2)에서 상측 영역(ER4)을 나타낸다. 제 2 실시형태에서, 제 2 화상(G2)에서 대응점(C43, C44)을 접속하는 직선 영역(A31)이 대응점(C44)과 제 1 화상(G1)에 대응하는 화소 사이의 시차를 따라 x방향으로 이동되도록 변형되고, 얻어지는 변형 영역(A32)이 제 2 화상(G2)에 오버라이팅된다. 또한, 변형 영역(A32)은 대응점(C43)과 대응점(C44)에 대응하는 제 1 화상(G1)에서 화소로서 동일한 x좌표를 갖는 화소(C45) 사이의 직선상의 화소열에 의해 형성되는 영역이다.
이 방법으로 수정 처리를 행함으로써 화소열(50)에 대응하는 대응점 아래의 제 2 화상(G2)에서 영역과 제 1 화상(G1)에서 하측의 영역(EL3) 사이의 시차가 하단을 향해 점차적으로 감소되어 시차가 하단에서 0이 된다. 또한, 화소열(51)에 대응하는 대응점 상측의 제 2 화상(G2)에서 영역과 제 1 화상(G1)의 상측 영역(EL4) 사이의 시차가 상단을 향해서 점차적으로 감소되어 시차가 상단에서 0이 된다. 그러므로, 제 1 및 제 2 화상(G1, G2)은 3차원 표시로 표시된 경우에, 도 14에 나타낸 바와 같이, 3차원 화상의 상하 부분에서 입체감은 단부를 향해서 점차적으로 작아진다. 또한, 제 2 화상(G2)이 제 2 화상으로 오버라이팅되므로 제 1 실시형태에서 생기는 화상보다 화상의 자연스러움을 나타내는 화상이 생긴다.
또한, 제 2 화상(G2)이 제 1 및 제 2 실시형태에서 수정되지만 제 1 화상(G1)이 대신 수정될 수 있는 것에 주의한다. 대신에, 제 1 및 제 2 화상(G1, G2) 양쪽이 수정될 수 있다.
또한, 제 2 화상(G2)이 제 1 및 제 2 화상(G1, G2)의 단부에서 시차가 0이 되도록 상기 기재된 제 1 및 제 2 실시형태에서 수정되지만 0의 시차가 반드시 실현될 필요는 없다. 제 2 화상(G2)은 제 1 및 제 2 화상(G1, G2)의 단부에서 시차가 모니터(20)의 표시면과 거의 대등한 입체감을 제공하도록 수정될 수 있다.
복안 카메라(1)는 2개의 촬영 유닛(21A, 21B)을 구비하고, 2개의 촬영 유닛(21A, 21B)은 상기 기재된 제 1 및 제 2 실시형태에서 3차원 표시를 제공하도록 사용되지만, 본 발명은 복안 카메라(1)가 3개 이상의 촬영 유닛을 구비하는 경우에도 행해질 수 있고 3개 이상의 화상이 3차원 표시를 제공하도록 사용될 수 있다.
또한, 본 발명에 의한 3차원 표시 장치가 상기 기재된 제 1 및 제 2 실시형태에서 복안 카메라(1)에 적용되지만 3차원 처리 유닛(30), 수정 유닛(31) 및 모니터(20)를 구비한 3차원 표시 장치가 단독으로 제공될 수 있다. 이 경우에, 동일한 피사체를 다른 위치로부터 촬영함으로써 얻은 복수의 화상이 3차원 표시 장치에 입력되어 3차원 처리가 상기 실시형태와 같이, 동일한 방법으로 수정된 후에 행하여진다.
본 발명의 일부 실시형태가 기재되었다. 또한, 본 발명은 컴퓨터를 상기 3차원 처리 유닛(30) 및 수정 유닛(31)에 대응하는 수단으로서 기능시켜, 도 15에 나타낸 바와 같이, 처리를 실행하게 하는 프로그램으로서 실행될 수 있다. 또한, 본 발명은 그러한 프로그램을 포함하는 컴퓨터 판독 가능한 기록 매체로서 실행될 수 있다.

Claims (10)

  1. 시차를 갖는 복수의 화상에 대하여 3차원 표시를 위한 3차원 처리를 행해서 3차원 화상을 생성하는 3차원 처리 수단;
    상기 3차원 화상의 3차원 표시를 적어도 수행하는 표시 수단; 및
    상기 3차원 표시가 수행될 때 상기 3차원 화상의 단부가 상기 표시 수단의 표시면으로부터 전방으로 입체시되는 경우에 상기 단부의 적어도 일부에서의 입체감을 수정하여 상기 단부의 적어도 일부를 상기 표시면과 일치시키도록 상기 복수의 화상 중 하나 이상의 화상을 수정하는 수정 수단을 포함하는 3차원 표시 장치로서:
    상기 3차원 처리 수단은 수정된 화상에 대해서 상기 3차원 처리를 행하는 것을 특징으로 하는 3차원 표시 장치.
  2. 제 1 항에 있어서,
    상기 수정 수단은 상기 복수의 화상의 단부 근방의 시차를 수정하여 시차가 상기 화상의 단부를 향해서 점차적으로 감소하도록 상기 복수의 화상 중 하나 이상의 화상을 수정하는 것을 특징으로 하는 3차원 표시 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 수정 수단은 상기 복수의 화상의 주위의 적어도 일부에 소정 범위의 단부 영역을 설정하고, 상기 복수의 화상의 상기 단부 영역에 있어서 대응하는 화소 사이의 시차를 상기 복수의 화상의 단부를 향해서 점차적으로 감소하도록 수정하는 것을 특징으로 하는 3차원 표시 장치.
  4. 제 3 항에 있어서,
    상기 수정 수단은 상기 복수의 화상 중 기준이 되는 기준 화상의 상기 단부 영역의 화상 부분을 상기 시차에 의거하여 변형하고, 상기 단부 영역의 변형된 화상 부분으로 상기 단부 영역 이외의 화상 부분을 수정함으로써 상기 복수의 화상 중 하나 이상의 화상을 수정하는 것을 특징으로 하는 3차원 표시 장치.
  5. 제 3 항에 있어서,
    상기 수정 수단은 상기 복수의 화상 중 하나 이상의 화상의 상기 단부 영역의 화상 부분을 상기 시차에 의거하여 변형함으로써 상기 복수의 화상 중 하나 이상의 화상을 수정하는 것을 특징으로 하는 3차원 표시 장치.
  6. 시차를 갖는 복수의 화상에 대하여 3차원 표시를 위한 3차원 처리를 행해서 3차원 화상을 생성하는 3차원 처리 수단과, 상기 3차원 화상의 3차원 표시를 적어도 수행하는 표시 수단을 구비한 3차원 표시 장치를 사용하는 3차원 표시 방법으로서:
    상기 3차원 표시가 수행될 때 상기 3차원 화상의 단부가 상기 표시 수단의 표시면으로부터 전방으로 입체시되는 경우에 상기 단부의 적어도 일부에서의 입체감을 수정하여 상기 단부의 적어도 일부를 상기 표시면과 일치시키도록 상기 복수의 화상 중 하나 이상의 화상을 수정하는 스텝; 및
    수정된 복수의 화상에 대해서 상기 3차원 처리를 행하는 스텝을 포함하는 것을 특징으로 하는 3차원 표시 방법.
  7. 시차를 갖는 복수의 화상에 대하여 3차원 표시를 위한 3차원 처리를 행해서 3차원 화상을 생성하는 3차원 처리 수단과, 상기 3차원 화상의 3차원 표시를 적어도 수행하는 표시 수단을 구비한 3차원 표시 장치를 사용하는 3차원 표시 방법을 컴퓨터에 실행시키기 위한 프로그램으로서:
    상기 3차원 표시가 수행될 때 상기 3차원 화상의 단부가 상기 표시 수단의 표시면으로부터 전방으로 입체시되는 경우에 상기 단부의 적어도 일부에서의 입체감을 수정하여 상기 단부의 적어도 일부를 상기 표시면과 일치시키도록 상기 복수의 화상 중 하나 이상의 화상을 수정하고;
    수정된 복수의 화상에 대해서 상기 3차원 처리를 행하는 것을 특징으로 하는 프로그램.
  8. 시차를 갖는 복수의 화상에 대하여 3차원 표시를 위한 3차원 처리를 행해서 3차원 화상을 생성하는 3차원 처리 수단; 및
    상기 3차원 표시가 수행될 때 상기 3차원 화상의 단부가 상기 표시 수단의 표시면으로부터 전방으로 입체시되는 경우에 상기 단부의 적어도 일부에서의 입체감을 수정하여 상기 단부의 적어도 일부를 상기 표시면과 일치시키도록 상기 복수의 화상 중 하나 이상의 화상을 수정하는 수정 수단을 포함하는 3차원 처리 장치로서:
    상기 3차원 처리 수단은 수정된 복수의 화상에 대해서 상기 3차원 처리를 행하는 것을 특징으로 하는 3차원 처리 장치.
  9. 시차를 갖는 복수의 화상에 대하여 3차원 표시를 위한 3차원 처리를 행해서 3차원 화상을 생성하는 3차원 처리 방법으로서:
    상기 3차원 표시가 수행될 때 상기 3차원 화상의 단부가 상기 표시 수단의 표시면으로부터 전방으로 입체시되는 경우에 상기 단부의 적어도 일부에서의 입체감을 수정하여 상기 단부의 적어도 일부를 상기 표시면과 일치시키도록 상기 복수의 화상 중 하나 이상의 화상을 수정하는 스텝; 및
    수정된 복수의 화상에 대해서 상기 3차원 처리를 행하는 스텝을 포함하는 것을 특징으로 하는 3차원 처리 방법.
  10. 시차를 갖는 복수의 화상에 대하여 3차원 표시를 위한 3차원 처리를 행해서 3차원 화상을 생성하는 3차원 처리 방법을 컴퓨터에 실행시키기 위한 프로그램으로서:
    상기 3차원 표시가 수행될 때 상기 3차원 화상의 단부가 상기 표시 수단의 표시면으로부터 전방으로 입체시되는 경우에 상기 단부의 적어도 일부에서의 입체감을 수정하여 상기 단부의 적어도 일부를 상기 표시면과 일치시키도록 상기 복수의 화상 중 하나 이상의 화상을 수정하고;
    수정된 복수의 화상에 대해서 상기 3차원 처리를 행하는 것을 특징으로 하는 프로그램.
KR1020117004363A 2008-10-27 2009-10-22 3차원 표시 장치 및 방법과, 프로그램 KR20110090886A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2008-275028 2008-10-27
JP2008275028A JP4625517B2 (ja) 2008-10-27 2008-10-27 ３次元表示装置および方法並びにプログラム

Publications (1)

Publication Number Publication Date
KR20110090886A true KR20110090886A (ko) 2011-08-10

Family

ID=42128528

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117004363A KR20110090886A (ko) 2008-10-27 2009-10-22 3차원 표시 장치 및 방법과, 프로그램

Country Status (7)

Country Link
US (1) US8130259B2 (ko)
EP (1) EP2340649B1 (ko)
JP (1) JP4625517B2 (ko)
KR (1) KR20110090886A (ko)
CN (1) CN102160388A (ko)
BR (1) BRPI0918063A2 (ko)
WO (1) WO2010050158A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011069963A (ja) * 2009-09-25 2011-04-07 Sony Corp 画像表示装置、画像表示観察システム及び画像表示方法
DE102010009291A1 (de) * 2010-02-25 2011-08-25 Expert Treuhand GmbH, 20459 Verfahren und Vorrichtung für ein anatomie-adaptiertes pseudoholographisches Display
CN102474647B (zh) * 2010-05-25 2015-08-19 松下电器（美国）知识产权公司 图像编码装置、图像编码方法以及集成电路
JP5556394B2 (ja) * 2010-06-07 2014-07-23 ソニー株式会社 立体画像表示システム、視差変換装置、視差変換方法およびプログラム
US20110316986A1 (en) * 2010-06-23 2011-12-29 Kabushiki Kaisha Toshiba Video display apparatus and video display method
CN102959967B (zh) * 2010-06-25 2015-07-01 富士胶片株式会社 图像输出装置及方法
WO2012023330A1 (ja) * 2010-08-16 2012-02-23 富士フイルム株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
JP5255028B2 (ja) * 2010-08-30 2013-08-07 シャープ株式会社 画像処理装置、表示装置、再生装置、記録装置、画像処理装置の制御方法、情報記録媒体、画像処理装置の制御プログラム及びコンピュータ読取可能な記録媒体
JP2012079291A (ja) * 2010-09-08 2012-04-19 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
CN103004217B (zh) * 2011-06-08 2016-08-03 松下知识产权经营株式会社 视差图像生成装置、视差图像生成方法、程序及集成电路
JP5337218B2 (ja) * 2011-09-22 2013-11-06 株式会社東芝 立体画像変換装置、立体画像出力装置および立体画像変換方法
JP4951148B2 (ja) * 2011-11-15 2012-06-13 株式会社東芝 映像表示装置及び映像表示方法
US10068157B2 (en) * 2012-05-10 2018-09-04 Apple Inc. Automatic detection of noteworthy locations
CN104918948B (zh) 2012-12-21 2018-09-18 博里利斯股份公司 催化剂
EP2746289B1 (en) 2012-12-21 2017-09-27 Borealis AG Catalysts
ES2674576T3 (es) 2012-12-21 2018-07-02 Borealis Ag Catalizador

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0865715A (ja) * 1994-08-22 1996-03-08 Toshiba Corp 立体映像表示方法及び立体映像表示装置
JP3091659B2 (ja) * 1995-01-20 2000-09-25 三洋電機株式会社 ３次元画像表示方法
JP3771973B2 (ja) * 1996-09-26 2006-05-10 オリンパス株式会社 立体映像表示装置
AU2002355052A1 (en) * 2002-11-28 2004-06-18 Seijiro Tomita Three-dimensional image signal producing circuit and three-dimensional image display apparatus
JP2004221700A (ja) * 2003-01-09 2004-08-05 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP2005033696A (ja) * 2003-07-11 2005-02-03 Nobuaki Hiromitsu ３次元表示装置
JP4400143B2 (ja) * 2003-08-20 2010-01-20 パナソニック株式会社 表示装置および表示方法
US20070023560A1 (en) 2005-07-26 2007-02-01 Mipox International Corporation Apparatus for and method of producing buff tapes
US7679641B2 (en) * 2006-04-07 2010-03-16 Real D Vertical surround parallax correction

Also Published As

Publication number Publication date
EP2340649A1 (en) 2011-07-06
US8130259B2 (en) 2012-03-06
US20110157328A1 (en) 2011-06-30
JP4625517B2 (ja) 2011-02-02
JP2010103866A (ja) 2010-05-06
BRPI0918063A2 (pt) 2015-12-01
WO2010050158A1 (en) 2010-05-06
CN102160388A (zh) 2011-08-17
EP2340649B1 (en) 2014-02-12
EP2340649A4 (en) 2012-04-04

Similar Documents

Publication Publication Date Title
JP4625517B2 (ja) ３次元表示装置および方法並びにプログラム
US9007442B2 (en) Stereo image display system, stereo imaging apparatus and stereo display apparatus
JP4637942B2 (ja) ３次元表示装置および方法並びにプログラム
JP5140210B2 (ja) 撮影装置および画像処理方法
JP5204350B2 (ja) 撮影装置、再生装置、および画像処理方法
JP5204349B2 (ja) 撮影装置、再生装置、および画像処理方法
WO2013099169A1 (ja) ステレオ撮影装置
KR20110073478A (ko) 3차원 촬영 장치 및 방법과, 프로그램
JP2010278878A (ja) 立体画像表示装置及びその表示画像切替方法
WO2012001970A1 (ja) 画像処理装置および方法並びにプログラム
JP4895312B2 (ja) ３次元表示装置および方法並びにプログラム
JP2010068182A (ja) ３次元撮影装置および方法並びにプログラム
WO2014064946A1 (ja) 撮像装置、画像処理装置、撮像装置の制御プログラムおよび画像処理装置の制御プログラム
US8849012B2 (en) Image processing apparatus and method and computer readable medium having a program for processing stereoscopic image
JP2010288253A (ja) 画像処理装置および方法並びにプログラム
JP4852169B2 (ja) ３次元表示装置および方法並びにプログラム
JP4881470B2 (ja) ３次元表示装置および方法並びにプログラム
JP2012015777A (ja) 立体視表示のための画像処理装置、方法、および、プログラム、並びに、画像表示装置
JP2010268097A (ja) ３次元表示装置及び３次元表示方法
WO2012001958A1 (ja) 画像処理装置および方法並びにプログラム
JP6439285B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5385354B2 (ja) ３次元表示装置および方法並びにプログラム
JP6070061B2 (ja) 画像処理装置、撮影装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right