KR20190080780A - 전자기기 및 그 제어 방법 - Google Patents

전자기기 및 그 제어 방법 Download PDF

Info

Publication number
KR20190080780A
KR20190080780A KR1020180170003A KR20180170003A KR20190080780A KR 20190080780 A KR20190080780 A KR 20190080780A KR 1020180170003 A KR1020180170003 A KR 1020180170003A KR 20180170003 A KR20180170003 A KR 20180170003A KR 20190080780 A KR20190080780 A KR 20190080780A
Authority
KR
South Korea
Prior art keywords
image
display
wide
ceiling
angle
Prior art date
Application number
KR1020180170003A
Other languages
English (en)
Other versions
KR102415637B1 (ko
Inventor
야스후미 오야마
신 무라카미
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20190080780A publication Critical patent/KR20190080780A/ko
Application granted granted Critical
Publication of KR102415637B1 publication Critical patent/KR102415637B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N5/23229—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/23293—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Cameras In General (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

전자기기는, 광범위 화상을 취득하는 화상취득부와, 자세정보를 포함하는 속성정보를 취득하는 정보취득부와, 상기 자세정보에 근거하여 천정과 요각을 보정해서 표시를 행하는 제1의 처리와, 상기 자세정보에 근거하여 천정을 보정하는 표시를 행하는 제2의 처리와, 상기 자세정보에 근거하여 요각을 보정하는 표시를 행하는 제3의 처리와, 상기 광범위 화상의 천정도 요각도 보정하지 않는 표시를 행하는 제4의 처리 중, 적어도 2개를 포함하는 복수의 처리 중 어느 하나를 조건에 근거하여 선택해서 상기 광범위 화상을 표시하도록 제어하는 제어부를 구비한다.

Description

전자기기 및 그 제어 방법{ELECTRONIC APPARATUS AND METHOD FOR CONTROLLING SAME}
본 발명은, 넓은 시야각을 갖는 광범위 화상을 표시 또는 기록하는 전자기기에 관한 것이다.
한번의 촬영 조작으로 360도 방향의 전체 천구화상(전방위(omnidirectional) 화상 또는 전주위(all-around) 화상)을 촬영할 수 있는 촬상 장치가 알려져 있다. 또한, 360도가 아닌 경우, 180도이상의 광범위를 촬영하는 촬상 장치가 알려져 있다. 이러한 화상의 일부의 표시 범위를 표시하고, 유저의 조작, 혹은 표시장치의 자세에 근거하여, 그 표시 범위를 변경하여 표시하는 방법이 알려져 있다. 이러한 표시에서는, 주로, 천정을 중심으로 해서 수평면내에서 회전하는 방향과, 상하 회전방향(앙각 또는 부각을 변경하는 방향)을 포함하는, 2축의 회전 방향으로 표시 범위가 변경가능하다.
일본 특허공개 2017-147682에는, 전방위 카메라의 자세를 검출하고, 수직방향으로 상기 카메라에 의한 화상의 기울기를 보정하고, 게다가, 수평면내에서 카메라 흔들림 성분이라고 생각되는 미소 진동을 보정하며, 수평면내에서 상기 카메라의 의도적인 회전을 추적하는 기술이 개시되어 있다.
촬상 장치가 기운 상태로 촬영된 화상을 표시했을 경우, 촬상 장치의 기운 자세와 마찬가지로 천정에 대해 상기 표시된 화상이 기운 경우, 유저가 그 화상을 보기 어려운 경우가 많다. 이러한 화상은, 일본 특허공개 2017-147682와 같이, 수직방향의 기울기를 보정(천정 보정)해서 표시하면 보다 보기 쉬워질 수도 있다. 그렇지만, 촬영한 영상이나 유저의 의도에 따라서는, 천정 보정을 하지 않고 화상을 표시하는 것이 보다 적합한 경우도 있다.
촬상시 수평면내의 촬상 장치의 회전(요(yaw) 방향의 회전)에 따라서 영상이 회전되면, 재생시에 시청자가 시청 방향을 변경하지 않고 시청 방향이 달라진다. 그리고, 시청자가 원하는 방향으로 시청할 수 없다.
본 발명은, 보다 적합한 방향으로 광범위 화상을 표시하는 것을 목적으로 한다.
본 발명의 일 국면에 의하면, 전자기기는, 이하의 부들의 동작을 행하는, 메모리 및 적어도 하나의 프로세서 및/또는 적어도 하나의 회로를 구비하고, 상기 부들은, 1개이상의 촬상부로 촬상된 광범위 화상을 취득하는 화상취득부와, 상기 광범위 화상에 부여된, 촬영시의 촬상 장치의 자세를 나타내는 자세정보를 포함하는 속성정보를 취득하는 정보취득부와, 상기 자세정보에 근거하여 천정과 요각을 보정해서 표시를 행하는 제1의 처리와, 상기 자세정보에 근거하여 천정을 보정하고 요각을 보정하지 않는 표시를 행하는 제2의 처리와, 상기 자세정보에 근거하여 요각을 보정하고 천정을 보정하지 않는 표시를 행하는 제3의 처리와, 상기 광범위 화상의 천정도 요각도 보정하지 않는 표시를 행하는 제4의 처리 중, 적어도 2개를 포함하는 복수의 처리 중 어느 하나를 조건에 근거하여 선택해서 상기 광범위 화상을 표시하도록 제어하는 제어부로 이루어진다.
본 발명의 또 다른 특징들은, 첨부도면을 참조하여 이하의 실시예들의 설명으로부터 명백해질 것이다. 후술한 본 발명의 각 실시예는, 단독으로 구현될 수 있거나, 복수의 실시예들의 조합으로서 구현될 수 있다. 또한, 다른 실시예들로부터의 특징들은, 필요한 경우, 또는 단일의 실시예에서 개개의 실시예로부터의 요소들 또는 특징들의 조합이 이로울 경우, 조합될 수 있다.
도1a는 디지탈 카메라의 정면 외관도다. 도1b는 디지탈 카메라의 배면 외관도다. 도1c는 디지탈 카메라의 구성 블록도다.
도2a는 표시 제어장치의 외관도다. 도2b는 표시 제어장치의 구성 블록도다. 도2c는 표시 제어장치를 장착가능한 가상현실(ＶＲ)고글의 외관도다.
도3a 내지 3c는 천정보정을 했을 경우와 행하지 않았을 경우를 설명하는 모식도다.
도4a 내지 4e는 천정보정과 요각보정의 조합에 근거한 제1 내지 제4의 표시 방법을 설명하는 모식도다.
도5는 촬영 처리를 나타내는 흐름도다.
도6a는 설치 장소 설정 화면의 표시 예를 나타내는 도면이다. 도6b는 보정설정 화면의 표시 예를 나타내는 도면이다.
도7은 표시 제어 처리를 나타내는 흐름도다.
도8은 오토 보정 판별처리를 나타내는 흐름도다.
도9는 영상보정처리를 나타내는 흐름도다.
도10은 기록시 오토 보정처리를 나타내는 흐름도다.
이하에, 첨부 도면을 참조해서 본 발명의 실시예에 대해서 상세히 설명한다.
배리어(barrier)(102a)는 디지탈 카메라(100)의 전방을 촬영 범위로 한 카메라부a(즉, 배리어 102a, 셔터 101a, 촬상부 22a, A/D변환기 23a)를 위한 촬영 렌즈(103a)의 보호창이다. 촬영 렌즈(103a) 자체의 외측의 면은, 그 배리어(102a)로서의 역할을 할 수도 있다. 카메라부a는 디지탈 카메라(100) 앞측의 상하 좌우 180도이상의 광범위를 촬영 범위로 하는 광각 카메라다. 배리어(102b)는 디지탈 카메라(100)의 후방을 촬영 범위로 한 카메라부b(즉, 배리어 102b, 셔터 101b, 촬상부 22b, A/D변환기 23b)를 위한 촬영 렌즈(103b)의 보호창이다. 촬영 렌즈(103b) 자체의 외측의 면은 상기 배리어(102b)로서의 역할을 할 수도 있다. 카메라부b는 디지탈 카메라(100)의 후방의 상하 좌우 180도이상의 광범위를 촬영 범위로 하는 광각 카메라다.
도1a에 전자기기인 디지탈 카메라(100)(촬상 장치)의 전방면 사시도(외관도)를 나타낸다. 도1b에 디지탈 카메라(100)의 배면 사시도(외관도)를 나타낸다. 디지탈 카메라(100)는, 전방위 카메라(전체 천구 카메라)이다.
표시부(28)는 각종 정보를 표시하는 표시부다. 셔터 버튼(61)은 촬영 지시를 행하기 위한 조작부다. 모드 전환 스위치(60)는 각종 모드를 전환하기 위한 조작부다. 접속 인터페이스(I/F)(25)는, 스마트 폰, 퍼스널 컴퓨터, 텔레비전 세트 등의 외부기기와 접속하기 위한 접속 케이블과, 디지탈 카메라(100)와의 사이의 커넥터다. 조작부(70)는 유저로부터의 각종 조작을 접수하는 각종 스위치, 버튼, 다이얼, 터치 센서 등의 조작 부재로 이루어지는 조작부다. 전원 스위치(72)는, 전원의 온 및 오프를 전환하기 위한 푸시 버튼이다.
발광부(21)는 발광 다이오드(ＬＥＤ)등의 발광 부재다. 발광부(21)는, 디지탈 카메라(100)의 각종 상태를 발광 패턴과 발광 색을 사용하여서 유저에게 통지한다. 고정부(40)는, 삼각대 스크류 구멍이다. 고정부(40)는, 예를 들면 삼각대 등의 고정 기구에 디지탈 카메라(100)를 고정해서 설치하기 위한 부재다. 고정부(40)는, 디지탈 카메라(100)의 저면에 배치되어 있다.
도1c는, 디지탈 카메라(100)의 구성 예를 나타내는 블록도다. 배리어(102a)는, 디지탈 카메라(100)의, 촬영 렌즈(103a)를 포함하는 카메라부a의 촬상계를 덮는 것에 의해, 촬영 렌즈(103a), 셔터(101a) 및 촬상부(22a)를 포함하는 촬상계의 오물과 파손을 방지한다. 촬영 렌즈(103a)는 줌렌즈, 포커스 렌즈를 포함하는 렌즈 유닛이다. 촬영 렌즈(103a)는 광각렌즈다. 셔터(101a)는, 촬상부(22a)에의 피사체 광의 입사량을 조정하는 조리개 기능을 갖는 셔터다. 촬상부(22a)는 광학상을 전기신호로 변환하는 전하결합소자(ＣＣＤ) 센서나 상보적 금속산화물 반도체(ＣＭＯＳ) 센서 등의 촬상 소자(촬상 센서)이다. 아날로그 대 디지탈(A/D) 변환기(23a)는, 촬상부(22a)로부터 출력되는 아날로그 신호를 디지탈 신호로 변환한다. 촬영 렌즈(103a), 셔터(101a) 및 촬상부(22a)는, 시스템 제어부(50)에 의해 제어된다.
배리어(102b)는, 디지탈 카메라(100)의, 촬영 렌즈(103b)를 포함하는 카메라부b의 촬상계를 덮는 것에 의해, 촬영 렌즈(103b), 셔터(101b) 및 촬상부(22b)를 포함하는 촬상계의 오물과 파손을 방지한다. 촬영 렌즈(103b)는 줌렌즈, 포커스 렌즈를 포함하는 렌즈 유닛이다. 촬영 렌즈(103b)는, 광각렌즈다. 셔터(101b)는, 촬상부(22b)에의 피사체 광의 입사량을 조정하는 조리개 기능을 갖는 셔터다. 촬상부(22b)는 광학상을 전기신호로 변환하는 ＣＣＤ센서나 ＣＭＯＳ센서 등의 촬상 소자다. A/D변환기(23b)는, 촬상부(22b)로부터 출력되는 아날로그 신호를 디지탈 신호로 변환한다. 촬영 렌즈(103b), 셔터(101b) 및 촬상부(22b)는, 시스템 제어부(50)에 의해 제어된다.
촬상부(22a) 및 촬상부(22b)에 의해, 가상현실(ＶＲ) 화상이 촬상된다. ＶＲ화상이란, ＶＲ표시(ＶＲ 뷰로 표시)될 수 있는 화상을 말한다. ＶＲ화상에는, 전방위 카메라(전체 천구 카메라)로 촬상한 전방위 화상(전체 천구화상)과, 표시부에 한번에 표시할 수 있는 표시 범위보다 넓은 영상범위(유효영상범위)를 가지는 파노라마 화상이 포함된다. ＶＲ화상에는, 정지 화상뿐만 아니라, 동화상과 라이브 화상(카메라로부터 거의 실시간으로 취득한 화상)도 포함된다. ＶＲ화상은, 상하 방향(수직각도, 천정으로부터의 각도, 앙각, 부각, 고각, 피치각) 360도와, 좌우 방향(수평각도, 방위각도, 요(yaw)각, 요 방향) 360도까지의 시야의 영상범위(유효영상범위)를 가진다. 또한, ＶＲ화상은, 상하 360도미만 및/또는 좌우 360도미만이여도, 통상의 카메라로 촬영가능한 화각보다도 넓은 화각(시야범위)을 갖는 화상, 혹은, 표시부에 한번에 표시할 수 있는 표시 범위보다 넓은 영상범위(유효영상범위)을 갖는 화상도 포함한다. 예를 들면, 좌우 방향(수평각도 또는 방위각도) 360도, 천정(ｚｅｎｉｔｈ)을 중심으로 한 수직각도 210도의 시야(화각)의 피사체를 촬영가능한 전체 천구 카메라로 촬영된 화상은 ＶＲ화상의 일종이다. 예를 들면, 좌우 방향(수평각도 또는 방위각도) 180도, 수평방향을 중심으로 한 수직각도 180도의 시야(화각)의 피사체를 촬영가능한 카메라로 촬영된 화상은 ＶＲ화상의 일종이다. 따라서, 상하 방향과 좌우 방향의 양쪽 방향으로 160도(±80도)이상의 시야의 영상범위를 갖고, 인간이 한번에 시인할 수 있는 범위보다도 넓은 영상범위를 갖는 화상은, ＶＲ화상의 일종이다. 이러한 ＶＲ화상을 ＶＲ표시하면, 유저는 좌우 회전 방향으로 표시장치의 자세를 변화시키는 것으로, 좌우 방향(수평회전 방향)으로는 이음매 없는 전방위의 영상을 시청할 수 있다. 상하 방향(수직회전 방향)으로는, 유저는, 바로 위(천정)로부터 보아서 ±105도의 범위내에서 이음매 없는 전방위의 영상을 시청할 수 있다. 바로 위에서 105도를 초과하는 범위는 영상이 존재하지 않는 공백 영역이 된다. ＶＲ화상은, "영상범위가 가상 공간(ＶＲ공간)의 적어도 일부인 화상"이라고 말할 수 있다.
ＶＲ표시란, 표시장치의 자세에 따른 시야범위내의 영상을 표시하는 ＶＲ화상의 표시 범위를 변경가능한 표시 방법이다. 유저가 표시장치인 헤드 마운트 디스플레이(ＨＭＤ)를 장착해서 시청할 경우에는, 유저의 얼굴의 방향에 따른 시야범위내의 영상을 표시하게 된다. 예를 들면, ＶＲ화상의, 어떤 시간에 특정한 시점에서 좌우 방향으로 0도(특정한 방위, 이를테면 북쪽), 상하 방향으로 90도(천정으로부터 90도, 즉 수평)를 중심으로 한 시야각(화각)의 영상을 표시하는 것으로 한다. 이러한 상태로부터, 표시부의 자세를 반전시키면(예를 들면, 표시면을 남향으로부터 북향으로 변경하면), 같은 ＶＲ화상의 표시 범위는, 좌우 방향으로 180도(반대의 방위, 예를 들면 남쪽), 상하 방향으로 90도(수평)를 중심으로 한 시야각의 영상으로 변경된다. ＨＭＤ를 시청하고 있는 경우에, 유저가 얼굴을 북쪽에서 남쪽을 향하면(즉, 뒤를 향하면), ＨＭＤ에 표시된 영상도 북쪽의 영상으로부터 남쪽의 영상으로 변한다. 이러한 ＶＲ표시는, 마치 유저가 ＶＲ화상내(ＶＲ공간내)에 있는 것처럼 감각(몰입감)을 시각적으로 유저에게 제공할 수 있다. ＶＲ고글(헤드 마운트 어댑터)에 장착된 스마트 폰은, ＨＭＤ의 일종이라고 말할 수 있다. ＶＲ화상의 표시 방법은 상기한 ＶＲ표시에 한정되는 것이 아니다. 자세를 변화하는 대신에, 터치패널이나 방향 버튼에 대한 유저 조작에 따라, 표시 범위를 이동(스크롤)시킴으로써, 시야범위를 변경하여 표시할 수 있다.
화상처리부(24)는, A/D변환기(23a, 23b)로부터의 데이터, 또는, 메모리 제어부(15)로부터의 데이터에 대하여, 소정의 화소보간, 축소 등의 리사이즈 처리와, 색변환 처리를 행한다. 또한, 화상처리부(24)에서는, 촬상한 화상 데이터를 사용해서 소정의 연산 처리를 행한다. 화상처리부(24)에 의해 얻어진 연산 결과에 근거해서 시스템 제어부(50)가 노광 제어와 측거제어를 행한다. 이에 따라, 오토포커스(ＡＦ)처리, 자동노출(ＡＥ)처리, 플래시 사전 발광(전자 플래시(ＥＦ))처리가 행해진다. 화상처리부(24)에서는, 더욱, 촬상한 화상 데이터를 사용해서 소정의 연산 처리를 행하고, 상기 얻어진 연산 결과에 근거해서 오토 화이트 밸런스(ＡＷＢ)처리를 행한다. 화상처리부(24)는, A/D변환기(23a, 23b)로부터 얻어진 2개의 화상(어안 화상 또는 광각화상)에 기본의 화상 처리를 적용한 후, 합성(연결 화상처리)해서 단일의 ＶＲ화상을 생성한다. 2개의 화상의 연결 화상처리에서는, 화상처리부(24)는, 2개의 화상 각각에 대해서, 패턴 매칭 처리에 의해 지역마다 기준화상과 비교 화상간의 편차량을 산출하고, 연결 위치를 검출한다. 그 후, 화상처리부(24)는, 검출한 연결 위치와 각각의 광학계 렌즈 특성을 고려하여, 2개의 화상을 각각 기하학 변환에 의해 왜곡을 보정하고, 각 화상을 전체 천구 이미지 형식으로 변환한다. 이 2개의 전체 천구 이미지 형식의 화상을 블렌드 함으로써, 화상처리부(24)는, 결국 1개의 전체 천구화상(ＶＲ화상)을 생성한다. 생성된 전체 천구화상(ＶＲ화상)은 정거원통도법의 화상이고, 각 화소의 위치는 구체의 표면의 좌표와 관련될 수 있다. 또한, 화상처리부(24)는, 라이브 뷰에서의 ＶＲ표시시, 혹은 재생시에는, ＶＲ화상을 ＶＲ표시하기 위한 화상 오려내기 처리, 확대 처리, 및 왜곡 보정을 행하여, 메모리(32)의 영상 랜덤 액세스 메모리(ＶＲＡＭ)에 묘화하는 렌더링을 행한다.
A/D변환기(23a, 23b)로부터의 출력 데이터는, 화상처리부(24) 및 메모리 제어부(15)를 통하여, 혹은, 화상처리부(24)를 통하지 않고 메모리 제어부(15)를 통해 메모리(32)에 기록된다. 메모리(32)는, 촬상부(22a, 22b)에 의해 얻어지고 A/D변환기(23a, 23b)에 의해 디지탈 데이터로 변환된 화상 데이터와, 접속I/F(25)로부터 외부의 디스플레이에 출력하기 위한 화상을 기억한다. 메모리(32)는, 소정매수의 정지 화상과 소정시간의 동화상 및 음성을 기억하는데 충분한 기억 용량을 갖는다.
또한, 메모리(32)는 화상표시용 메모리(비디오 메모리)를 겸하고 있다. 메모리(32)에 기억된 화상표시용 데이터는, 접속I/F(25)로부터 외부의 디스플레이에 출력될 수 있다. 촬상부(22a, 22b)로 촬상되고 화상처리부(24)로 생성되며 메모리(32)에 기억된 ＶＲ화상을 외부 디스플레이에 연속적으로 전송해서 표시함으로써, 전자 뷰파인더는, 라이브 뷰 표시(ＬＶ표시)를 하도록 구현될 수 있다. 이하, 라이브 뷰로 표시된 화상을 ＬＶ화상이라고 칭한다. 또한, 메모리(32)에 기억된 ＶＲ화상을, 통신부(54)를 통해 무선접속된 외부기기(스마트 폰등)에 전송하여, 외부기기에 표시함으로써도 라이브 뷰 표시(리모트 ＬＶ표시)를 행할 수 있다. 디지탈 카메라(100) 본체는, 화상을 표시가능한 본체 디스플레이를 구비하도록 구성되고, 접속I/F(25)로부터 출력해서 외부의 디스플레이에 표시하는 것으로서 설명한 영상과 동등한 영상을 본체 디스플레이에 표시하여도 된다.
불휘발성 메모리(56)는, 전기적으로 소거 및 기록가능한 기록 매체로서의 메모리다. 예를 들면, 전기적으로 소거 가능한 프로그램 가능 판독전용 메모리(ＥＥＰＲＯＭ)를 불휘발성 메모리(56)로서 사용한다. 불휘발성 메모리(56)에는, 시스템 제어부(50)의 동작용의 정수, 프로그램이 기억된다. 여기에서, 프로그램이란, 본 실시예에서 후술하는 각종 흐름도를 실행하기 위한 컴퓨터 프로그램이다.
시스템 제어부(50)는, 적어도 1개의 프로세서 또는 회로를 가지는 제어부이며, 디지탈 카메라(100) 전체를 제어한다. 시스템 제어부(50)는, 상기 불휘발성 메모리(56)에 기록된 프로그램을 실행함으로써, 후술하는 본 실시예에 따른 여러 가지 타입의 처리를 실현한다. 시스템 메모리(52)는, 예를 들면, 랜덤 액세스 메모리(ＲＡＭ)를 포함한다. 시스템 메모리(52)에는, 시스템 제어부(50)의 동작용의 정수, 변수와, 불휘발성 메모리(56)로부터 판독된 프로그램들이 로딩된다. 또한, 시스템 제어부(50)는 메모리(32), 화상처리부(24) 및 메모리 제어부(15)를 제어함에 의해 표시 제어도 행한다.
시스템 타이머(53)는 각종 제어에 사용하는 시간과, 내장된 시계의 시간을 측정하는 시간 측정부다.
모드 전환 스위치(60), 셔터 버튼(61) 및 조작부(70)는, 시스템 제어부(50)에 각종의 동작 지시를 입력하기 위한 조작부다. 모드 전환 스위치(60)는, 시스템 제어부(50)의 동작 모드를 정지 화상 기록 모드, 동화상 촬영 모드, 재생 모드 및 통신 접속 모드 중 어느 하나로 전환한다. 정지 화상 기록 모드는, 오토 촬영 모드, 오토 씬 판별 모드, 메뉴얼 모드, 조리개 우선 모드(Ａｖ모드), 셔터 속도 우선 모드(Ｔｖ모드) 및 프로그램 ＡＥ모드를 포함한다. 또한, 각각의 촬영 씬에 특이한 촬영 설정이 되는 각종 씬 모드, 커스텀 모드가 있다. 모드 전환 스위치(60)를 사용함으로써, 유저는, 이것들의 모드 중 어느 하나로 직접 전환할 수 있다. 혹은, 유저는 모드 전환 스위치(60)로 촬영 모드의 일람 화면으로 일단 전환한 후에, 표시부(28)에 표시된 복수의 모드 중 어느 하나를 선택하고, 다른 조작 부재를 사용해서 전환하여도 좋다. 마찬가지로, 동화상 촬영 모드도 복수의 모드를 포함하여도 좋다.
제1셔터 스위치(62)는, 디지탈 카메라(100)에 설치된 셔터 버튼(61)의 조작 도중, 즉 반누름(촬영 준비 지시)으로 ＯＮ이 되어 제1셔터 스위치 신호ＳＷ1을 발생한다. 제1셔터 스위치 신호ＳＷ1에 응답하여, ＡＦ처리, ＡＥ처리, AWB 처리 및 ＥＦ처리 등의 촬영 준비 동작을 시작한다.
제2셔터 스위치(64)는, 셔터 버튼(61)의 조작 완료, 즉, 완전 누름(촬영 지시)으로 ＯＮ이 되어, 제2셔터 스위치 신호ＳＷ2를 발생한다. 시스템 제어부(50)는, 제2셔터 스위치 신호ＳＷ2에 응답하여, 촬상부(22a, 22b)로부터의 신호 판독으로부터 기록 매체(90)에 화상 데이터의 기록까지의 일련의 촬영 처리의 동작을 시작한다.
또한, 셔터 버튼(61)은 완전 누름과 반누름의 2단계의 조작을 할 수 있는 버튼에 한정되는 것이 아니고, 1단계의 누름만을 할 수 있는 조작 부재이여도 좋다. 이러한 경우, 1단계의 누름에 따라 촬영 준비 동작과 촬영 처리가 연속해서 행해진다. 이러한 동작은, 반누름과 완전 누름이 가능한 셔터 버튼을 완전히 눌렀을 때 실행된 동작(제1 및 제2 셔터 스위치 신호ＳＷ1과 ＳＷ2이 거의 동시에 발생했을 때 실행된 동작)이다.
조작부(70)의 조작 부재들은, 표시부(28)에 표시된 여러 가지의 기능 아이콘과 선택지를 선택 조작하는 경우, 각각 적절한 기능 장면이 할당되어, 각종 기능 버튼으로서 기능한다. 기능 버튼의 예로서는, 종료 버튼, 되돌아가기 버튼, 화상이송 버튼, 점프 버튼, 조리개 좁힘 버튼, 및 속성변경 버튼이 있다. 예를 들면, 메뉴 버튼이 눌리면, 각종의 설정가능한 메뉴 화면이 표시부(28)에 표시된다. 유저는, 표시부(28)에 표시된 메뉴 화면을 보면서 조작부(70)를 조작함으로써, 직관적으로 각종 설정을 행할 수 있다.
전원제어부(80)는, 전지검출 회로, 직류 대 직류(ＤＣ-ＤＣ) 컨버터, 통전하는 블록을 전환하는 스위치 회로를 구비한다. 전원제어부(80)는, 전지의 장착의 유무, 장착된 전지의 종류, 및 장착된 전지의 잔량을 검출한다. 전원제어부(80)는, 그 검출 결과 및 시스템 제어부(50)로부터의 지시에 근거해서, ＤＣ-ＤＣ컨버터를 제어하여, 필요한 전압을 필요한 기간에 기록 매체(90)를 포함하는 여러가지의 부에 공급한다. 전원부(30)는, 알칼리 전지나 리튬 전지등의 일차전지, 니켈카드륨(ＮｉＣｄ)전지나 니켈 수소(ＮｉＭＨ)전지, 리튬이온(Ｌｉ)전지등의 이차전지, 및/또는 교류(ＡＣ)어댑터를 포함한다.
기록 매체I/F(18)는, 메모리카드나 하드 디스크 등의 기록 매체(90)와의 인터페이스다. 기록 매체(90)는, 촬영된 화상을 기록하기 위한 기록 매체다. 기록 매체(90)의 예들은, 메모리 카드, 반도체 메모리, 광디스크, 및 자기 디스크를 포함한다. 기록 매체(90)는, 디지탈 카메라(100)에 착탈가능한 교환 기록 매체이어도 좋거나, 내장의 기록 매체이어도 좋다.
통신부(54)는, 무선 또는 유선 케이블에 의해 접속되고, 영상신호와 음성신호의 송수신을 행한다. 통신부(54)는 무선 근거리 통신망(ＬＡＮ)과 인터넷에도 접속가능하다. 또한, 통신부(54)는, Ｂｌｕｅｔｏｏｔｈ®이나 Ｂｌｕｅｔｏｏｔｈ® Ｌｏｗ Ｅｎｅｒｇｙ를 통해 외부기기와 통신가능하다. 통신부(54)는, 촬상부(22a, 22b)로 촬상한 화상(ＬＶ화상을 포함한다)과, 기록 매체(90)에 기록된 화상을 송신할 수 있고, 또한, 외부기기로부터 화상과 그 밖의 각종 정보를 수신할 수 있다.
자세검지부(55)는 중력방향에 대한 디지탈 카메라(100)의 자세를 검지한다. 자세검지부(55)로 검지된 자세에 근거하여, 촬상부(22a, 22b)로 촬영된 화상이, 디지탈 카메라(100)를 횡으로 쥐고서 촬영된 화상인지, 종으로 쥐고서 촬영된 화상인지를 판별가능하다. 또한, 요(yaw), 피치, 롤의 3축방향으로 상기 촬영된 화상의 기울기의 정도를 판별가능하다. 시스템 제어부(50)는, 자세검지부(55)로 검지된 자세에 따른 방향 정보를 촬상부(22a, 22b)로 촬상된 ＶＲ화상의 화상 파일에 부가하거나, 화상을 회전(기울기 보정하기 위한 화상의 방향을 조정)해서 기록할 수 있다. 자세검지부(55)로서는, 가속도 센서, 자이로 센서, 지자기 센서, 방위 센서, 고도 센서 중 1개이상 사용할 수 있다. 자세검지부(55)인, 가속도 센서, 자이로 센서, 및/또는 방위각 센서를 사용하여서, 디지탈 카메라(100)의 팬(pan), 틸트, 들어올리기, 정지하고 있는 것인가 아닌가 등의 움직임을 검지할 수 있다.
마이크로폰(20)은, ＶＲ화상의 동화상의 음성으로서 기록되는 디지탈 카메라(100)의 주위의 음성을 집음하기 위한 것이다.
접속I/F(25)는, 고선명 멀티미디어 인터페이스(ＨＤＭＩ®) 케이블이나 범용 시리얼 버스(ＵＳＢ) 케이블용 접속 플러그다. 접속I/F(25)는, 외부기기와 접속해서 영상의 송수신을 행하기 위한 것이다.
도2a에, 전자기기의 일종인 표시 제어장치(200)의 외관도의 예를 나타낸다. 표시 제어장치(200)(전자기기)의 일례는, 스마트폰이다. 디스플레이(205)는 화상과 각종 정보를 표시하는 표시부다. 디스플레이(205)는, 후술하는 것 같이, 터치패널(206a)과 일체적으로 구성되고, 디스플레이(205)의 표시면에의 터치 조작을 검출할 수 있다. 표시 제어장치(200)는, ＶＲ화상(ＶＲ콘텐츠)을 디스플레이(205)에 있어서 ＶＲ표시하는 것이 가능하다. 조작부(206)에는, 도2a와 같이, 터치패널(206a), 조작부(206b, 206c, 206d, 206e)가 포함된다. 조작부 206b는 표시 제어장치(200)의 전원의 온과 오프를 전환하는 조작을 접수하는 전원 버튼이다. 조작부 206c와 조작부 206d는 음성출력부(212)로부터 출력하는 음성의 볼륨을 증감하는 볼륨 버튼이다. 조작부 206e는, 디스플레이(205)에 홈 화면을 표시시키기 위한 홈 버튼이다. 음성출력 단자(212a)는 이어폰 잭이며, 이어폰이나 외부 스피커에 음성을 출력하는 출력 단자다. 스피커(212b)는 음성을 발음하는 본체 내장 스피커다.
도2b에, 표시 제어장치(200)의 구성의 일례를 나타낸다. 내부 버스(250)에, 중앙처리장치(ＣＰＵ)(201), 메모리(202), 불휘발성 메모리(203), 화상처리부(204), 디스플레이(205), 조작부(206), 기억 매체I/F(207), 외부I/F(209), 및 통신I/F(210)이 접속되어 있다. 또한, 내부 버스(250)에, 음성출력부(212)와 자세검지부(213)도 접속되어 있다. 내부 버스(250)에 접속된 각 부는, 내부 버스(250)를 통해 서로 데이터를 교환할 수 있다.
ＣＰＵ(201)는, 표시 제어장치(200)의 전체를 제어하는 제어부다. ＣＰＵ(201)는, 적어도 1개의 프로세서 또는 회로로 이루어진다. 메모리(202)는, 예를 들면 ＲＡＭ(반도체소자를 이용한 휘발성의 메모리)으로 이루어진다. ＣＰＵ(201)는, 예를 들면 불휘발성 메모리(203)에 기억된 프로그램에 따라, 상기 메모리(202)를 워크 메모리로서 사용하여서, 표시 제어장치(200)의 각종 부를 제어한다. 불휘발성 메모리(203)에는, 화상 데이터, 음성 데이터, 그 밖의 데이터, 및 ＣＰＵ(201)가 동작하기 위한 각종 프로그램이 기억된다. 불휘발성 메모리(203)는, 예를 들면, 플래시 메모리나 판독전용 메모리(ＲＯＭ)다.
화상처리부(204)는, ＣＰＵ(201)의 제어에 근거하여, 불휘발성 메모리(203)와 기억 매체(208)에 기억된 화상, 외부I/F(209)를 통해 취득된 영상신호, 및 통신I/F(210)을 통해 취득한 화상에 대하여 각종 화상 처리를 적용한다. 화상처리부(204)가 행하는 화상처리에는, A/D변환 처리, 디지탈 대 아날로그(D/A) 변환 처리, 및 화상 데이터의 부호화 처리, 압축 처리, 디코드 처리, 확대/축소 처리(리사이즈), 노이즈 감소 처리, 색 변환처리가 포함된다. 또한, 화상처리부(204)는, 전방위 화상, 혹은 광범위 영상을 포함하는 광 시야 화상의 비전방위 화상일 수도 있는, ＶＲ화상의 파노라마 전개, 매핑 처리 및 변환 등의 각종 화상처리도 행한다. 화상처리부(204)는, 특정한 화상 처리를 적용하기 위한 전용의 회로 블록으로 구성해도 좋다. 화상처리의 종별에 따라서, ＣＰＵ(201)는 화상처리부(204)를 사용하지 않고 프로그램에 따른 화상 처리를 행하여도 된다.
디스플레이(205)는, ＣＰＵ(201)의 제어에 근거하여, 그래픽 유저 인터페이스(ＧＵＩ)를 구성하는 ＧＵＩ화면과, 화상을 표시한다. ＣＰＵ(201)는, 프로그램에 따른 표시 제어 신호를 생성하고, 디스플레이(205)에 표시하기 위한 영상신호를 생성해서 디스플레이(205)에 출력하도록 표시 제어장치(200)의 각종의 부를 제어한다. 디스플레이(205)는 출력된 영상신호에 근거해서 영상을 표시한다. 표시 제어장치(200) 자체는 디스플레이(205)에 표시시키기 위한 영상신호를 출력하기 위한 인터페이스까지의 구성을 구비하여도 되고, 디스플레이(205)는 외장형 모니터(텔레비전 세트 등)로서 구성되어도 좋다.
조작부(206)는, 유저 조작을 접수하기 위한 입력 디바이스다. 입력 디바이스는, 키보드등의 문자정보 입력 디바이스, 마우스나 터치패널 등의 포인팅 디바이스, 버튼, 다이얼, 조이스틱, 터치 센서, 및/또는 터치 패드를 포함한다. 터치패널(206a)은, 디스플레이(205)를 포개도록 평탄하게 구성되고, 접촉된 위치에 따른 좌표정보를 출력하는, 입력 디바이스다.
기억 매체I/F(207)는, 메모리 카드, 콤팩트 디스크(ＣＤ) 및 디지탈 다기능 디스크(ＤＶＤ) 등의 기억 매체(208)가 장착 가능하게 구성된다. 기억 매체I/F(207)는, ＣＰＵ(201)의 제어에 근거하여, 장착된 기억 매체(208)로부터 데이터를 판독하고, 해당 기억 매체(208)에 데이터를 기록한다. 외부I/F(209)는, 외부기기와 유선 케이블이나 무선에 의해 접속하고, 영상신호와 음성신호의 입출력을 행하기 위한 I/F다. 통신I/F(210)는, 외부기기 및 인터넷(211)과 통신하고, 파일과 커맨드등의 각종 데이터의 송수신을 행하기 위한 인터페이스다. 통신I/F(210)는, 예를 들면, 무선ＬＡＮ, 유선ＬＡＮ, Ｂｌｕｅｔｏｏｔｈ®, Ｂｌｕｅｔｏｏｔｈ® Ｌｏｗ Ｅｎｅｒｇｙ를 통해 외부기기와 통신가능하다.
음성출력부(212)는, 동화상이나 음악 데이터(음성 파일)의 음성이나, 조작음, 착신음, 및 각종 통지음을 출력한다. 음성출력부(212)에는, 이어폰을 접속하는 음성출력 단자(212a), 및 스피커(212b)가 포함된다. 음성출력부(212)는 무선통신으로 외부 스피커에 음성 데이터를 출력해도 좋다.
자세검지부(213)는, 중력방향에 대한 표시 제어장치(200)의 자세나, 요, 롤, 피치의 각 축에 대한 자세의 기울기를 검지한다. 자세검지부(213)로 검지된 자세에 근거하여, 표시 제어장치(200)가 횡으로 보유되어 있는지, 종으로 보유되어 있는지, 위로 향하였는지, 아래로 향하였는지, 또는 비스듬한 자세가 되었는지를 판별가능하다. 자세검지부(213)로서는, 가속도 센서, 자이로 센서, 지자기 센서, 방위 센서, 및 고도 센서 중 적어도 1개를 사용할 수 있다. 복수의 센서를 조합해서 사용하는 것도 가능하다.
조작부(206)에는, 터치패널(206a)이 포함된다. ＣＰＵ(201)는 터치패널(206a)에의 이하의 조작, 혹은 상태를 검출할 수 있다.
·터치패널(206a)에 터치하지 않은 손가락이나 펜이 새롭게 터치패널(206a)에 터치한 것, 다시 말해, 터치의 시작(이하, 터치다운(Ｔｏｕｃｈ-Ｄｏｗｎ)이라고 칭한다.)
·터치패널(206a)을 손가락이나 펜이 터치하고 있는 상태인 것(이하, 터치 온(Ｔｏｕｃｈ-Ｏｎ)이라고 칭한다)
·손가락이나 펜이 터치패널(206a)을 터치한 채 이동하는 것(이하, 터치 무브(Ｔｏｕｃｈ-Ｍｏｖｅ)라고 칭한다)
·터치패널(206a)에 터치하고 있었던 손가락이나 펜이 터치패널(206a)로부터 떨어진 것, 다시 말해, 터치의 종료(이하, 터치업(Ｔｏｕｃｈ-Ｕｐ)이라고 칭한다)
·터치패널(206a)에 아무것도 터치하지 않고 있는 것(이하, 터치 오프(Ｔｏｕｃｈ-Ｏｆｆ)라고 칭한다)
터치다운이 검출되면, 동시에 터치 온도 검출된다. 터치다운 후, 터치업이 검출되지 않는 한은, 통상은 터치 온이 계속 검출된다. 터치 무브가 검출되었을 경우도, 동시에 터치 온이 검출된다. 터치 온이 검출되고 터치 위치가 이동하지 않으면, 터치 무브는 검출되지 않는다. 터치하고 있었던 모든 손가락과 펜이 터치업 한 것이 검출되면, 터치 오프가 검출된다.
이러한 조작들과 상태나, 터치패널(206a)을 터치하는 손가락(들)이나 펜의 위치 좌표를 내부 버스(250)를 통해서 ＣＰＵ(201)에 통지한다. ＣＰＵ(201)는 통지된 정보에 근거해서 터치패널(206a) 위에 무슨 조작(터치 조작)이 행하여졌는지를 판정한다. 터치 무브에 대해서는, ＣＰＵ(201)는, 터치패널(206a) 위에서 이동하는 손가락이나 펜의 이동 방향을, 위치 좌표의 변화에 근거하여, 터치패널(206a) 위의 수직성분과 수평성분의 면에서 판정할 수 있다. 소정거리 이상을 터치 무브한 것이 검출되었을 경우는, 슬라이드 조작이 행하여졌다고 판정한다. 터치패널(206a)과 손가락을 터치한 채 어느 정도의 거리 재빠르게 이동하고, 즉 손가락을 떼어놓는 조작을, 플릭이라고 부른다. 플릭은, 바꿔 말하면 터치패널(206a)을 손가락으로 튕기는 것 같이 재빠르게 덧그리는 조작이다. 소정거리이상을, 소정속도이상으로 터치 무브한 것이 검출되고, 즉시 터치업이 검출되면, 플릭이 행하여졌다고 판정할 수 있다(슬라이드 조작에 이후에 플릭이 있었던 것이라고 판정할 수 있다). 복수 개소(예를 들면, 2점)를 동시에 터치하여, 서로의 터치 위치를 가까이 하는 터치 조작을 핀치 인이라고 칭한다. 복수 개소(예를 들면, 2점)을 동시에 터치하고 서로의 터치 위치를 멀리하는 조작을 핀치 아웃이라고 칭한다. 핀치 아웃과 핀치 인을 총칭해서 핀치 조작(혹은, 단지 핀치)이라고 칭한다. 터치패널(206a)로서는, 저항막방식이나 정전용량방식, 표면탄성파 방식, 적외선방식, 전자기 유도방식, 화상인식 방식, 및 광 센서방식을 포함하는, 여러가지 방식의 터치패널 중에서 어느 하나의 방식을 사용해도 좋다. 일부의 방식은, 터치패널이 접촉될 경우 터치가 있었다고 검출한다. 일부의 방식은, 터치패널에 손가락이나 펜의 접근하는 경우 터치가 있었다고 검출하는 방식이다. 상기 방식 중에서 어느 하나가 사용되어도 좋다.
도2c에, 표시 제어장치(200)를 장착가능한 ＶＲ고글(300)(헤드 마운트 어댑터)의 외관도를 나타낸다. 표시 제어장치(200)는, ＶＲ고글(300)에 장착한 경우, ＨＭＤ로서 사용될 수 있다. 삽입 슬롯(311)은, 표시 제어장치(200)를 내부에 삽입하기 위한 것이다. 디스플레이(205)의 표시면을, ＶＲ고글(300)을 유저의 머리 부분에 고정하기 위한 헤드밴드(312)(즉, 유저)를 향해서 표시 제어장치(200)의 전체를 ＶＲ고글(300)에 삽입할 수 있다. 표시 제어장치(200)가 장착된 ＶＲ고글(300)을 유저가 머리 부분에 착용하는 경우, 유저가 손으로 표시 제어장치(200)를 보유하지 않고 표시 제어장치(200)의 디스플레이(205)를 시인할 수 있다. 이 상태에서, 유저가 유저의 머리 부분 또는 몸 전체를 움직이면, 표시 제어장치(200)의 자세도 변화된다. ＶＲ표시에 있어서는, 자세검지부(213)는 표시 제어장치(200)의 자세의 변화를 검출하고, 이 자세의 변화에 근거하여 ＣＰＵ(201)가 ＶＲ표시 처리를 행한다. 자세검지부(213)가 표시 제어장치(200)의 자세를 검출하는 것은, 자세검지부(213)가 유저의 머리 부분의 자세(유저의 시선이 향하는 방향)를 검출하는 것과 동등하다. 표시 제어장치(200)자체가, ＶＲ고글(300)없이 상기 머리 부분에 장착될 수 있는 ＨＭＤ이여도 좋다.
표시 제어장치(200)는, 화상처리부(204)로 ＶＲ화상을 천정보정(피치 각과 롤 각의 보정)해서 표시할 수 있다. 표시 제어장치(200)는, 천정보정을 행하거나 천정보정을 행하지 않고 ＶＲ화상을 표시할 수 있다.
도3a∼도3c를 참조하여, ＶＲ화상을 표시할 때의 천정보정에 대해서 설명한다. 도3a은, 촬영 상황을 나타내는 모식도다. 피사체인 집(301)과 개(302)간의 도시된 위치 관계로 디지탈 카메라(100)를 설치하여, 전방위 화상을 촬영한다. 도시된 위치 관계에서, 디지탈 카메라(100)로부터 보아서 방향A(예를 들면, 북쪽)에 집(301)이 있다. 디지탈 카메라(100)로부터 보아서 방향A로부터 오른쪽으로 90도의 방향(예를 들면, 동쪽)에 개(302)가 있다. 디지탈 카메라(100)는 중력방향에 대하여 오른쪽으로 다소 기울어서 보유되어 있어, 중력방향과 디지탈 카메라(100)의 상하 축은 평행하지 않는 것으로 한다. 이 상황에서는, 디지탈 카메라(100)의 정면(배리어 102a 및 촬상부 22a)을 집(301)을 향해서 ＶＲ화상(동화상 또는 정지 화상)의 촬영을 행하고, 화상A를 기록한다.
도3b에, 도3a에 나타낸 상황에서 촬영된 화상A를, 표시 제어장치(200)로 천정보정하지 않고 재생 및 표시했을 경우의 모식도를 나타낸다. 화상A는, 디지탈 카메라(100)의 기록 매체(90)로부터 무선 혹은 유선에 의한 파일 전송에 의해, 혹은 메모리 카드 등의 기록 매체(90)를 표시 제어장치(200)에 로딩함으로써, 표시 제어장치(200)에 의해 취득(화상취득)된다. 도3b는, 재생 방법이 ＶＲ표시(ＶＲ 뷰)인 경우의 예를 나타낸다. 도3b의 좌측에서는, 유저가 ＶＲ고글(300)을 머리 부분에 장착하고, 화상A를 ＶＲ표시로 시청한다. 표시 제어장치(200)는 상기 ＶＲ고글(300)에 부착된다. 화상A는 디지탈 카메라(100)가 기운 상태로 촬영된 화상이다. 천정보정을 행하지 않고, 디지탈 카메라(100)의 기울기와 반대측으로 기운 영상이 표시된다. 즉, 천정보정을 행하지 않고, 화상A는 집(301)이 기우는 방향으로 표시된다. 보다 구체적으로는, 화상A는, 중력방향에 대하여 기운 상태이었던 촬영시의 디지탈 카메라(100)의 상하 방향이, ＶＲ표시이외의 표시 방법의 경우에는, 재생 기기인 표시 제어장치(200)에 있어서의 디스플레이(205)의 상하 방향과 평행이 되는 방향으로 표시된다. ＶＲ표시의 경우에는, 화상A는, 촬영시의 디지탈 카메라(100)의 상하 방향이, 재생 기기인 표시 제어장치(200)의 자세검지부(213)로 검지되어 있는 중력방향(천정을 지나가는 축방향)과 평행이 되는 방향으로 재생 및 표시된다. 도3b의 우측은, 도3b의 좌측의 상태로부터 유저가 오른쪽을 향했을 경우의 디스플레이(205)의 표시 예를 나타내고 있다. 자세검지부(213)로 검지된 유저가 오른쪽을 향하는 자세의 변화에 근거해서 화상A의 표시 범위(방향)가 변경되고, 그 화상A는 개(302)가 보이는 방향으로 표시된다. 이러한 상황에서는, 개(302)도 기울어서 표시된다. 표시 범위를, 촬영시의 디지탈 카메라(100)의 상하 방향을 중심으로 하여서 회전 이동함에 의해 변경하므로, 실제는 집(301)과 같은 높이로 보인다고 생각되는 개(302)의 영상이, 상하 방향 어긋난 위치로 보인다.
도3c는, 도3a의 상황에서 촬영된 화상A를, 표시 제어장치(200)로 천정보정해서 재생 및 표시했을 경우를 나타내는 모식도다. 도3c도, 재생 방법이 ＶＲ표시(ＶＲ뷰)인 예를 나타낸다. 도3c의 좌측에서는, ＶＲ고글(300)을 유저가 머리 부분에 장착하고, 화상A를 ＶＲ표시로 시청하고 있다. 상기 표시 제어장치(200)를 상기 ＶＲ고글(300)에 부착한다. 화상A는 디지탈 카메라(100)가 기운 상태로 촬영된 화상이다. 상기 천정보정에서는, 화상A를 촬영할 때에 디지탈 카메라(100)로 검지한 중력방향이 재생시의 상하 방향과 평행이 되도록 화상A의 방향을 보정해서 표시하고 있다. 다시 말해, 상기 천정보정에서는, 화상A는, 집(301)이 기울지 않는 방향으로 표시된다. 보다 구체적으로는, 화상A는, ＶＲ표시이외의 표시 방법의 경우에는, 화상A를 촬영할 때에 디지탈 카메라(100)로 검지한 중력방향이 재생 기기인 표시 제어장치(200)에 있어서의 디스플레이(205)의 상하 방향과 평행이 되는 방향으로 표시된다. ＶＲ표시의 경우에는, 화상A는, 촬영시에 디지탈 카메라(100)로 검지한 중력방향이, 재생 기기인 표시 제어장치(200)의 자세검지부(213)로 검지되어 있는 중력방향(천정을 지나가는 축방향)과 평행해지는 방향으로 재생 및 표시된다. 어느 쪽의 경우에도, 중력방향(천정을 지나가는 축방향)에 대하여 기운 상태이었던 촬영시의 디지탈 카메라(100)의 상하 방향과, 화상A를 촬영할 때에 디지탈 카메라(100)로 검지한 중력방향과의 사이의 차이량을 상쇄하도록 표시의 방향이 보정된다. 도3c의 우측은, 도3c의 좌측의 상태로부터 유저가 오른쪽을 향했을 경우의 디스플레이(205)의 표시 예를 나타내고 있다. 자세검지부(213)로 검지된 유저가 오른쪽을 향하는 자세의 변화에 근거해서 화상A의 표시 범위(방향)가 변경되어, 상기 화상A는 개(302)가 보이는 방향으로 표시된다. 이 상황에서는, 개(302)도 기울지 않고 표시된다. 피사체의 실제의 상황에서와 같이, 개(302)는, 집(301)과 같은 높이로 보인다.
표시 제어장치(200)는, 화상처리부(204)로 ＶＲ화상을 요각보정해서 표시하는 것이 가능하다. 요각보정은, 디지탈 카메라(100)의 상하 방향을 회전축으로 한 회전 방향의 보정이다. 바꿔 말하면, 요각보정은, 수평면내에 있어서의 표시 방향의 보정(ＶＲ화상의 상하 방향이 중력방향에 평행할 경우 방위 보정과 동등함)이다. 표시 제어장치(200)는, ＶＲ화상을 그 요각보정을 행하여 또는, 요각보정을 행하지 않고, 표시할 수 있다. 요각보정과 천정보정을 조합하여 행할 수 있다. 구체적으로, 표시 제어장치(200)는, 천정보정과 요각보정에 관해서, 이하의 4종류의 표시가 가능하다:
· 제1의 표시 방법: 천정보정과 요각보정의 쌍방을 행한다
· 제2의 표시 방법: 천정보정을 하고 요각보정을 행하지 않는다
· 제3의 표시 방법: 천정보정을 행하지 않고 요각보정을 행한다
· 제4의 표시 방법: 천정보정과 요각보정의 쌍방을 행하지 않는다
도4a∼도4e를 참조하여, 천정보정과 요각보정의 조합에 근거한 상술의 제1의 표시 방법∼ 제4의 표시 방법에 대해서 설명한다. 도4a는, 촬영 상황을 나타내는 모식도다. 피사체인 집(301)과 개(302)와, 디지탈 카메라(100)와의 위치 관계, 및 디지탈 카메라(100)의 중력방향에 대한 기울기는, 도3a와 같다. 도4a를 참조하여, 디지탈 카메라(100)로 전방위의 동화상B를 촬영하는 예를 설명한다. 동화상B를 기록하고 있는 도중의 시점T1에서는, 디지탈 카메라(100)의 정면을 방향Ａ(집 301의 방향)를 향하고 있다. 그 후, 같은 동화상B의 기록 도중인 시점T2의 직전에, 디지탈 카메라(100)의 정면이 방향B(개 302의 방향)를 마주보도록, 촬영 방향을 변경한다.
도4b는, 도4a의 상황에서 촬영된 동화상B를, 표시 제어장치(200)로 천정보정과 요각보정의 쌍방을 하지 않고 재생 및 표시했을 경우(제4의 표시 방법으로 재생 및 표시했을 경우)를 나타내는 모식도다. 도4b의 좌측에서는, 동화상B에서 유저는 시점T1에 대응하는 재생 지점을 시청하고 있다. 동화상B는 디지탈 카메라(100)가 기운 상태로 촬영된 화상이다. 이 때문에, 천정보정을 하지 않고, 디스플레이(205)에는 디지탈 카메라(100)의 기울기와 반대측으로 기운 영상이 표시된다. 다시 말해, 동화상B는, 집(301)이 기우는 방향으로 표시된다. 도4b의 우측은, 도4b의 좌측의 상태로부터, 시점T2에 대응하는 지점까지 동화상B의 재생이 진행했을 경우를 나타내는 모식도다. 유저는, 시청하는 방향을 변경하고 있지 않거나, 터치 조작으로 표시 범위를 변경하지 않고 있다. 요각보정을 하지 않고, 촬영시의 디지탈 카메라(100)의 방향의 변경에 기인하여, 표시 범위가 다르게 보인다. 보다 구체적으로, 동화상B의 재생의 진행에 따라, 시점T1에 대응하는 재생 지점에서는 집(301)이 보이고(방향A의 영상이 보이고), 시점T2에 대응하는 재생 지점에서는 집(301)이 아닌 개(302)가 보이도록(방향B의 영상이 보이도록) 영상이 변화된다. 시청하는 유저는 시청 방향(표시 범위)을 바꾸는 자세변화나 조작을 행하지 않고 보이는 표시 범위가 바뀌므로, 때때로 몰입감이 저해될 수 있다. 천정보정을 행하지 않고, 개(302)도 기울어 보인다.
도4c는, 도4a의 상황에서 촬영된 동화상B를, 표시 제어장치(200)로 천정보정을 행하지 않고 요각보정을 행해서 재생 및 표시했을 경우(제3의 표시 방법으로 재생 및 표시했을 경우)를 나타내는 모식도다. 도4c의 좌측에서는, 동화상B에서 유저는 시점T1에 대응하는 재생 지점을 시청하고 있다. 동화상B는 디지탈 카메라(100)이 기운 상태로 촬영된 화상이다. 이 때문에, 천정보정을 하지 않고, 디스플레이(205)에는 디지탈 카메라(100)의 기울기와 반대측으로 기운 영상이 표시된다. 다시 말해, 동화상B는, 집(301)이 기우는 방향으로 표시된다. 도4c의 우측은, 도4c의 좌측의 상태로부터, 시점T2에 대응하는 지점까지 동화상의 재생이 진행했을 경우를 나타내는 모식도다. 요각보정에서는, 디지탈 카메라(100)의 촬영시의 요각의 움직임(디지탈 카메라(100)의 상하 방향을 중심으로 한 회전 방향의 움직임)을 상쇄하도록 영상의 방향이 보정된다. 도4c는 요각보정을 행했을 경우의 표시 예를 나타내므로, 시점T1부터 시점T2까지의 기간에 일어나는, 촬영시의 디지탈 카메라(100)의 요각의 회전이 상쇄되도록 보정된다. 따라서, 도4c의 우측에서는, 도4c의 좌측과 같은 집(301)이 보이는 방향의 영상이 표시된다(방향A의 영상이 표시된다). 보다 구체적으로, 비록 동화상B의 재생의 진행으로 디지탈 카메라(100)의 방향이 변화되지만, 시점T1에 대응하는 재생 지점에서는 집(301)이 보이고(방향A의 영상이 보이고), 시점T2에 대응하는 재생 지점에서도 집(301)이 보인다(방향A의 영상이 보인다). 이에 따라, 비록 유저가 시청하는 방향을 변경하지 않거나 터치 조작으로 표시 범위를 변경하지 않지만, 표시 방향이 바뀌는 위화감을 방지할 수 있다. 또한, 천정보정을 행하지 않고, 시점T2에서도 집(301)은 기울어 보인다.
도4d는, 도4a의 상황에서 촬영된 동화상B를, 표시 제어장치(200)로 천정보정을 행하고, 요각보정을 행하지 않고 재생 및 표시했을 경우(제2의 표시 방법)를 나타내는 모식도다. 도4d의 좌측에서는, 유저는, 동화상B에서, 시점T1에 대응하는 재생 지점을 시청하고 있다. 동화상B는 디지탈 카메라(100)가 기운 상태로 촬영된 화상이다. 천정보정을 하여, 기울지 않은 영상이 표시된다. 다시 말해, 동화상B는, 집(301)이 기울지 않는 방향으로 표시된다. 도4d의 우측은, 도4d의 좌측의 상태로부터, 시점T2에 대응하는 시점까지 동화상B의 재생이 진행했을 경우를 나타내는 모식도다. 요각보정을 행하지 않고, 비록 유저가 시청하는 방향을 변경하지 않거나 터치 조작으로 표시 범위를 변경하지 않지만, 표시 범위가 다르게 보인다. 구체적으로, 동화상B의 재생의 진행에 따라, 시점T1에 대응하는 재생 지점에서는 집(301)이 보이고(방향A의 영상이 보이고), 시점T2에 대응하는 재생 지점에서는 집(301)이 아닌 개(302)가 보이도록(방향B의 영상이 보이도록) 영상이 변화된다. 도4a와 같이, 시청하는 유저는 시청 방향(표시 영역)을 바꾸는 자세변화나 조작을 행하지 않고 보이는 표시 범위가 바뀌기 때문에, 때때로 몰입감이 저해될 수 있다. 천정보정을 행하여, 개(302)는 기울지 않게 보인다.
도4e는, 도4a의 상황에서 촬영된 동화상B를, 표시 제어장치(200)로 천정보정과 요각보정의 쌍방을 행해서 재생 및 표시했을 경우(제1의 표시 방법)를 나타내는 모식도다. 도4e의 좌측에서는, 동화상B에서, 유저는 시점T1에 대응하는 재생 지점을 시청하고 있다. 동화상B는, 디지탈 카메라(100)가 기운 상태로 촬영된 화상이다. 천정보정을 하여, 기울지 않은 영상이 표시된다. 다시 말해, 동화상B는, 집(301)이 기울지 않는 방향으로 표시된다. 도4e의 우측은, 도4e의 좌측의 상태로부터, 시점T2에 대응하는 지점까지 동화상B의 재생이 진행했을 경우를 나타내는 모식도다. 요각보정을 행하여, 시점T1부터 시점T2까지의 기간에 일어나는, 촬영시의 디지탈 카메라(100)의 요각의 회전이 상쇄되도록 보정된다. 따라서, 도4e의 우측에서는, 도4e의 좌측과 같은 집(301)이 보이는 방향의 영상이 표시된다(방향A의 영상이 표시된다). 이에 따라, 비록 유저가 시청하는 방향을 변경하지 않거나, 터치 조작으로 표시 범위를 변경하지 않지만, 표시 방향이 바뀌는 위화감을 방지할 수 있다. 또한, 천정보정을 행하여, 시점T2에서도 집(301)은 기울지 않게 보인다.
표시 제어장치(200)는, 상술한 제1의 표시 방법∼제4의 표시 방법을, 하기와 같은 조건에 의거하여 적응적으로 사용한다.
(1) 재생 방법(표시 방법)의 유저 설정에 근거한 다른 표시 방법의 이용
제1의 표시 방법∼제4의 표시 방법의 어느 방법을 설정할지를 유저가 미리 설정하는(표시 방법의 메뉴얼 설정) 설정 항목, 및 표시 제어장치(200)가 그 설정에 근거한 표시 방법으로 ＶＲ화상을 표시한다. 이에 따라, 표시 제어장치(200)는, 유저가 원하는 표시 방법으로 상기 ＶＲ화상을 표시할 수 있다. 그 표시 방법을 ＶＲ뷰로 할지 또는 다른 표시 방법으로 할지를, 유저 조작에 근거하여 설정할 수 있다. ＶＲ뷰의 경우에는, 제1의 표시 방법을 사용한다. 그 이유는, ＶＲ뷰가, 특성적으로, 유저에 의해 생긴 표시 제어장치(200)의 자세 변화에 근거한 표시 범위를 변경하는 표시 방법이고, 특히 시청하는 유저의 몰입감을 적절하게 우선화시키기 때문이다. 바꿔 말하면, ＶＲ화상의 시청하는 방향을 결정할 때 주도권이, 촬영시의 유저보다도 재생시의 유저에게 있다고 생각된다.
(2) 촬영시의 설정 정보에 근거한 다른 표시 방법의 이용
촬영시에, 디지탈 카메라(100)의 설치 장소에 대한 설정이 행해지고, 그 설정이 속성정보(metadata)로서 ＶＲ화상에 관련지어 기록되는 경우에, 상기 표시 제어장치(200)는 그 속성정보에 근거해서 표시 방법을 판단한다.
그 설치 장소가, 미지정, 셀피(selfie) 스틱, 또는 소지 장소일 경우에는, 제1의 표시 방법을 사용한다. 셀피 스틱에 장착된 디지탈 카메라(100)로 ＶＲ화상을 촬영하는 경우는, 유저가 디지탈 카메라(100)의 촬영 범위내에서 적합하게 촬영되도록, 디지탈 카메라(100)가 유저의 몸으로부터 떨어져 보유되는 경우가 많다. 셀피 스틱의 일단에 디지탈 카메라(100)를 장착하고, 셀피 스틱의 타단을 유저가 보유하고 디지탈 카메라(100)의 자세를 조정한다. 그 때문에, 디지탈 카메라(100)의 정면을 어디를 향할지, 디지탈 카메라(100)를 중력방향에 대하여 어느 방향으로 보유할지를, 조정하는 것이 어렵다. 또한, 디지탈 카메라(100)가 전방위 카메라이기 때문에, 유저는, 디지탈 카메라(100)를 어느 정도 거리를 자신에게서 떨어지게 보유함으로써 디지탈 카메라(100)의 정면을 알지 않고서 자신이 적합하게 촬영될 수 있다고 생각한다. 따라서, 셀피 스틱을 사용한 전방위 카메라에서의 촬영 동안에, 유저는, 디지탈 카메라(100)의 정면을 어디를 향할지, 디지탈 카메라(100)를 중력방향에 대하여 어느 방향으로 보유할지를 의식하지 않고 있을 가능성이 높다. 그 때문에, ＶＲ화상은, 보정없이 표시되면 보기 어려울 가능성이 높다. 이 때문에, ＶＲ화상을 천정과 요각의 쌍방을 보정하는 제1의 표시 방법으로 표시하여, ＶＲ화상이 디지탈 카메라(100)의 정면의 방향이나 디지탈 카메라(100)의 기울기를 의식하지 않는 촬영으로 취득된 화상인 경우에도, 적합하게 ＶＲ화상을 시청할 수 있다. 소지 촬영의 경우에도, ＶＲ화상은, 디지탈 카메라(100)의 정면방향과 디지탈 카메라(100)의 기울기는 촬영자가 의도하지 않는 방식일 가능성이 높기 때문에, 제1의 표시 방법으로 표시된다.
디지탈 카메라(100)가 자전거, 차, 스키, 스노보드, 또는 서프보드에 고정되도록 설치 장소가 설정되면, 천정보정하지만, 요각은 보정하지 않는 제2의 표시 방법을 사용한다. 이러한 설치 장소들에서, 디지탈 카메라(100)는 유저의 주의를 전방으로 진행하고, 그 진행 방향은 진행 도중에 바뀔 수 있다. 이러한 진행하는 영상을 포함하는 전방위 동화상에서는 진행 방향에 관심을 갖는다. 그 진행 방향은, 일정한 방향(재생시에 시청하는 유저에 있어서의 정면)으로 보이지 않으면 부자연스럽다. 그 때문에, 동화상의 도중에 진행 방향이 변화되는 경우에, 변화후의 진행 방향이 일정한 방향(재생시에 시청하는 유저에 있어서의 정면)으로 보이도록, 요각보정을 행하지 않는다. 이것에 의해, 재생된 동화상을 시청하는 유저는, 마치 디지탈 카메라(100)가 설치되어 있는 탈것을 타고 있는 것 같은 몰입감을 얻을 수 있다.
설치 장소가 드론(무인항공기)등의 비행 물체일 경우, 요각은 보정하지만 천정은 보정하지 않는 제3의 표시 방법을 사용한다. 이렇게 함으로써, 재생시의 시청자는 촬영시의 디지탈 카메라(100)의 정면의 방향에 관계 없이 임의의 방향으로 ＶＲ화상을 볼 수 있다. 한편, 선회시나 비행 물체가 바람으로 흔들릴 때의 롤(roll) 각과 피치 각의 기울기는 재현된다. 따라서, 시청자는, 실제로 자신이 마치 비행 물체에 탄 것 같은 현장감을 얻을 수 있다. 설치 장소가 배, 행글라이더, 또는 스카이다이빙이나 패러슈트 강하시에 사용된 장비인 경우도, 제3의 표시 방법을 선택하여도 좋다.
설치 장소가 헬멧이나 롤러 코스터일 경우는, 천정도 요각도 보정하지 않는 제4의 표시 방법을 사용한다. 천정보정이나 요각보정하지 않고, 촬상 장치의 촬영 상황이 충실하게 재현되어, 시청자는 촬영 상황을 대리로 경험할 수 있다. 예를 들면 롤러 코스터를 타는 유저의 헬멧에 장착된 디지탈 카메라(100)로 촬영된 동화상을 ＶＲ표시로 보면, 롤러 코스터가 수직 루프 할 때에 거꾸로 되어진 영상이 보일 수 있다. 커브로의 기울기와 진행 방향도 재현된다. 이것에 의해, 시청자는 마치 자신이 롤러 코스터를 타고 있는 것 같은 몰입감 또는 현장감을 얻을 수 있다. 디지탈 카메라(100)가 진행하는 탈것이나 기구, 이를테면, 공중 회전하는 경기용의 기구 또는 경기자의 헬멧에 설치되고, 경기자의 대리 경험을 행할 수 있는 현장감을 우선할 경우에는, 제2의 표시 방법 대신에, 제4의 표시 방법이 사용될 수 있다. 이러한 경기의 예로서는, 모글 스키, 에어리얼 스키, 스노보드 빅 에어, 스노보드 하프 파이프, 및 프리스타일 모터크로스가 있다.
(3) 촬영시의 디지탈 카메라의 이동 속도에 근거한 다른 표시 방법의 이용
촬영시에 ＶＲ화상을 촬영하고 있는 디지탈 카메라(100)가 어느 정도의 속도이상으로 이동하고 있다고 판정할 수 있을 경우에, 제2의 표시 방법을 사용한다. 그 이유는, 전술의 (2)에서 설명한 이유와 같다. 디지탈 카메라(100)가 도보보다 빠른 속도로 이동하고 있을 경우는, 디지탈 카메라(100)는, 유저가 전방을 의식해서 진행하고 있다고 생각된다. 이것은, 설치 장소의 설정에 대한 정보가 이용 가능하지 않을 경우에도 적용할 수 있다. 한편, 촬영시에 ＶＲ화상을 촬영하고 있는 디지탈 카메라(100)의 이동 속도가 어느 정도의 속도미만이라고 판정한 경우에, 제1의 표시 방법을 사용한다. 디지탈 카메라(100)의 이동 속도는, ＶＲ화상을 촬영하고 있는 디지탈 카메라(100)가 구비한 가속도 센서등의 움직임 센서로 얻어진 것이어도 좋거나, 글로벌 위치결정 시스템(ＧＰＳ) 센서등의 측위 센서로 얻은 것이어도 좋다. 디지탈 카메라(100)의 이동 속도는, 동화상을 해석해서 전후의 프레임의 상관으로부터 얻어진 속도이어도 좋다.
(4) 디지탈 카메라의 진동의 크기에 근거한 다른 표시 방법의 이용
촬영시에 ＶＲ화상을 촬영하고 있는 디지탈 카메라(100)가 어느 정도 진동하고 있다(흔들리고 있다)고 판정할 수 있을 경우에, 제2의 표시 방법을 사용한다. 그 이유는, 진동이 클 경우는, 디지탈 카메라(100)가 정지해서 고정되어 있는 것이 아니고, 이동하고 있을 수 있기 때문이다. 이동하고 있을 경우에 제2의 표시 방법을 채용하는 이유는 (2)에서 서술한 대로다. 이러한 조건은, 촬영시의 디지탈 카메라(100)의 이동 속도가 이용 가능하지 않은 경우에도 적용가능하다. 한편, 촬영시의 디지탈 카메라(100)의 진동이 작을 경우에는, 제1의 표시 방법을 사용한다.
(5) 영상의 해석 결과에 근거한 다른 표시 방법의 이용
촬영 대기 상태에서 얻어진 LV 화상, 혹은 기록된 동화상을 해석하여, 디지탈 카메라(100)에 대하여 상대적으로 정지한 소정면적이상의 피사체를 포함한다고 안 경우에, 제2의 표시 방법을 사용한다. 상대적으로 정지한 소정면적이상의 피사체(정지 피사체)는, 촬영시에 디지탈 카메라(100)를 고정한 기구(탈것의 핸들, 차의 본네트, 및 스키 첨단등)일 가능성이 높다. 이러한 정지 피사체가 ＶＲ동화상에 포함되고 ＶＲ동화상의 도중에 촬영 방향이 바뀌는 경우에, 시청자에게는 정지 피사체가 보이고 있다. 그 후, 시청자는, 촬영 방향의 변화는 영상의 표시 범위가 바뀐 것이 아니고, 촬영시에 정지 피사체 자체의 방향이 바뀌었기 때문인 것을 안다. 따라서, 이러한 변화는, 도4d에서 상술한 것 같은 몰입감의 저해 요인이 될 가능성이 낮다. 이러한 경우에, 디지탈 카메라(100)는, 진행하는 탈것에 설치될 가능성도 높다.
도5에, 디지탈 카메라(100)에 의한 ＶＲ화상의 촬영 처리(촬영 처리1)의 흐름도를 나타낸다. 이 처리는, 불휘발성 메모리(56)에 기록된 프로그램을 시스템 메모리(52)에 로딩해서 시스템 제어부(50)가 실행함으로써 실현된다. 디지탈 카메라(100)를 촬영 모드로 전환하여 촬영 대기 상태로 기동하면, 도5의 처리가 시작된다.
단계 S501에서는, 시스템 제어부(50)는, 설치 장소를 설정하는 지시가 있었던 것인가 아닌가를 판정한다. 유저는, 설치 장소의 설정 지시를, 표시부(28)에 표시된 설정 화면을 보면서 조작부(70)를 조작해서 행하거나, 디지탈 카메라(100)와 무선접속된 외부기기(예를 들면, 표시 제어장치(200))에 표시된 설정 화면을 보면서 상기 외부기기를 조작해서 행할 수 있다. 도6a에, 촬영 대기시에 디지탈 카메라(100)와 접속된 표시 제어장치(200)의 디스플레이(205)에 표시된 설치 장소 설정 화면의 표시 예를 나타낸다. 설정가능한 설치 장소의 선택지로서, 미지정, 소지 장소, 삼각대, 셀피 스틱, 헬멧, 보디 워언(body worn), 자전거/스키/스노보드, 및 자동차가 표시된다. 아래쪽으로 스크롤시켜서, 드론, 롤러 코스터, 모터사이클, 및 천장 등의 선택지를 더욱 표시한다. 유저는, 선택지 중에서 어느 하나를 선택해서 설치 장소로서 설정하는 것이 가능하다. 설치 장소의 후보는 단지 일례다. 보다 적거나 많은 설치 장소의 후보가 제공되어도 좋다. 설치 장소를 설정하는 지시가 있었을 경우에는(단계 S501에서 YES), 단계 S502의 처리로 진행된다. 그렇지 않을 경우는(단계 S501에서 NO), 단계 S503의 처리로 진행된다.
단계 S502에서는, 시스템 제어부(50)는, 단계 S501에서 접수한 설치 장소의 설정 지시에 근거하여, 지시된 설치 장소를 설정해서 불휘발성 메모리(56)에 기억한다.
단계 S503에서는, 시스템 제어부(50)는, 그 밖의 지시가 있는가 아닌가를 판정한다. 시스템 제어부(50)는, 그 밖의 지시로서, 촬영 조건(셔터 속도, 조리개, 화이트 밸런스, 셀프 타이머 설정, 동화상 기록과 정지 화상 촬영간의 전환, 화소수, 압축률, 파일 형식)의 설정 지시를 접수할 수 있다. 그 밖의 지시가 있었을 경우는(단계 S503에서 YES), 단계 S504의 처리로 진행된다. 그렇지 않을 경우는(단계 S503에서 NO), 단계 S505의 처리로 진행된다. 단계 S504에서는, 시스템 제어부(50)는, 접수한 지시에 근거하여 처리를 행한다.
단계 S505에서는, 시스템 제어부(50)는, 촬상부(22a, 22b)에서의 라이브 화상(LV화상)의 촬영을 시작한다. 외부기기(예를 들면, 표시 제어장치(200))가 접속되는 경우에, 시스템 제어부(50)는, 접속I/F(25)를 통해 외부기기에의 라이브 화상의 출력을 시작한다. 이 결과, 외부기기의 상기 표시부(예를 들면, 표시 제어장치(200)의 디스플레이(205))에, 촬영되고 있는 ＶＲ화상의 LV화상이 표시된다.
단계 S506에서는, 시스템 제어부(50)는, 화상처리부(24)를 사용하여, 촬상한 라이브 화상의 해석을 시작한다. 시스템 제어부(50)는, 해석 결과에 근거하여, 이동 정보, 진동 정보, 및 정지 피사체 정보를 시스템 메모리(52)에 기록한다.
이동 정보는 다음의 방식으로 얻어진다. 시스템 제어부(50)는, 라이브 화상의 프레임간의 상관(차분)을 해석하고, 디지탈 카메라(100)가 소정속도이상으로 이동하고 있는지를 판정한다. 예를 들면, 진행 방향의 화상은, 진행 방향 연장선상에 있는 소실점으로부터 방사상으로 이동하고 있는 화상 각 특징점을 포함한다. 그 해석 결과가 그 움직임을 보이면, 디지탈 카메라(100)가 진행 방향 연장선상에 있는 소실점을 향해서 이동하고 있는 것을 안다. 그리고, 각 특징점의 이동 벡터로부터 이동 속도를 구할 수 있다. 시스템 제어부(50)는, 해석 결과로서 얻어지는 디지탈 카메라(100)의 이동 속도를 나타내거나 디지탈 카메라(100)가 소정속도이상으로 이동하고 있는 것인가 아닌가를 나타내는 이동 정보를, 시스템 메모리(52)에 기억한다. 이후에 정지 화상 또는 동화상을 촬영해서 기록할 때에, 시스템 제어부(50)는, 화상 파일의 각 프레임의 속성정보(metadata)로서 이동 정보를 기억한다.
진동 정보는 다음의 방식으로 얻어진다. 시스템 제어부(50)는, 라이브 화상의 프레임간의 상관(차분)을 해석하고, 디지탈 카메라(100)가 흔들리고 있는 것인가 아닌가를 판정하고, 얼마나 디지탈 카메라(100)가 흔들리고 있는지를 나타내는 진동 정보를 기록할 수 있다. 예를 들면, 해석의 결과가 거의 모든 특징점이 같은 방향으로 이동하고 있는 것을 보이면, 디지탈 카메라(100) 자체가 진동하고 있다(흔들리고 있다)는 것을 안다. 특징점의 이동 벡터의 크기로부터, 진동의 양을 판정할 수 있다.
정지 피사체 정보는 다음의 방식으로 얻어진다. 시스템 제어부(50)는, 복수의 프레임의 라이브 화상의 소정 시간(예를 들면, 3초)을 해석한다. 소정 시간의 복수의 프레임에 걸쳐, 같은 위치에 같은 특징점이 계속해서 존재할 경우에, 디지탈 카메라(100)에 대하여 상대적으로 정지 피사체가 있다고 상정할 수 있다. 그 정지 피사체와 계속되어 있다고 생각될 수 있는 부분의 면적의 ＶＲ화상 전체에 대한 비율이 역치이상일 경우에, 시스템 제어부(50)는, 정지한 소정면적이상의 피사체가 있는 것을 나타내는 정지 피사체 정보를 시스템 메모리(52)에 기록한다.
단계 S507에서는, 시스템 제어부(50)는, 동화상 촬영(동화상 기록)의 시작을 지시하는 동화상 기록 지시가 있는가 아닌가를 판정한다. 예를 들면, 모드 전환 스위치(60)에 의해 동화상 촬영 모드로 설정된 상태에서, 셔터 버튼(61)이 누르어지면, 시스템 제어부(50)는, 동화상 기록 지시가 있었다고 판정된다(단계 S507에서 YES). 또한, 리모트 ＬＶ표시 동안에 외부기기로부터의 동화상 기록 지시가 있었을 경우도 YES라고 판정한다. 동화상 기록 지시가 있었을 경우는(단계 S507에서 YES), 단계 S508의 처리로 진행된다. 그렇지 않을 경우는(단계 S507에서 NO), 단계 S516의 처리로 진행된다.
단계 S508에서는, 시스템 제어부(50)는, 자세검지부(55)로 디지탈 카메라(100)의 중력방향에 대한 자세를 검지한다. 시스템 제어부(50)는, 다음에 기록하는 ＶＲ동화상의 프레임의 자세정보로서 시스템 메모리(52)에 그 자세를 기록한다. 시스템 제어부(50)는, 자세검지부(55)의 출력에 근거해서 역치이상의 진동이 있는 것인가 아닌가(소정조건을 충족시키는 진동이 있는 것인가)를 판정하고, 검지한 진동의 양을 나타내는 진동 정보를 시스템 메모리(52)에 기록한다. 후술하는 단계 S513에서, 시스템 제어부(50)는, ＶＲ동화상의 프레임에 관련지어 속성정보(metadata)로서 이것들의 정보를 기록한다.
단계 S509에서는, 시스템 제어부(50)는, 자세검지부(55) 및/또는 측위 센서(도시되지 않음)의 출력에 근거하여, 디지탈 카메라(100)의 이동 속도를 검지한다. 이동 속도는 1프레임 기간내에서 검지된 것에 한정하지 않고, 또한, 몇몇의 프레임전부터 얻어진 정보(예를 들면, 기록 시작 직후이면, 기록 시작 직전의 S506에서 해석된 정보)에도 근거하여 검지된다. 시스템 제어부(50)는, 검지된 이동 속도를 나타내는 이동 정보를 시스템 메모리(52)에 기록한다. 후술하는 단계 S513에서, 시스템 제어부(50)는, ＶＲ동화상의 프레임에 관련지어 속성정보(metadata)로서 그 이동 정보를 기록한다.
단계 S510에서는, 시스템 제어부(50)는, 촬상부(22a, 22b)를 사용하여, 1프레임분의 화상을 촬상하여, 상기 메모리(32)에 기억한다.
단계 S511에서는, 시스템 제어부(50)는, 화상처리부(24)를 사용하여, 메모리(32)에 기억된 촬상된 화상에 전술의 연결 화상 처리를 적용하여 단일의 ＶＲ화상을 생성하고, 그 ＶＲ화상을 상기 메모리(32)에 기억한다.
단계 S512에서는, 시스템 제어부(50)는, 단계 S506과 같이, 단계 S511에서 취득한 ＶＲ화상을 해석하고, 상황에 따라서 이동 정보, 진동 정보, 및 정지 피사체 정보를 기록한다. 여기에서의 해석은, 1프레임 기간내에서 얻어진 정보에 한정하지 않고, 몇몇의 프레임전으로부터 얻어진 정보(예를 들면, 기록 시작 직후이면, 기록 시작 직전의 단계 S506에서 해석된 정보)에도 근거하여 행해진다.
단계 S513에서는, 시스템 제어부(50)는, 메모리(32)에 기억한 ＶＲ화상을, ＶＲ동화상의 1프레임으로서 기록 매체(90)에 동화상 파일로서 기록한다. 동화상 파일에는, 뒤에 ＶＲ뷰의 이용 가능성을 식별하는데 사용 가능하며, 동화상이 ＶＲ화상인 것을 나타내는 속성정보(metadata)도 부여된다. 또한, 여기에서 기록하는 프레임의 정보로서 시스템 메모리(52)에 기록된 자세정보, 이동 정보, 진동 정보, 및 정지 피사체 정보를, 단계 S513에서 기록한 프레임의 속성정보(metadata)로서, 동화상 파일에 관련지어 기록한다. 또한, 만약에 있다면, 불휘발성 메모리(56)에 기록된 설치 장소의 설정 정보(설치 장소정보)도 단계 S513에서 기록한 프레임의 속성정보(metadata)로서 동화상 파일에 관련지어 기록한다. 설치 장소 정보는, 프레임마다의 정보가 아니고 동화상 파일 단위의 정보로서 기록되어도 좋다.
단계 S514에서는, 시스템 제어부(50)는, 동화상의 기록의 정지 지시가 있는가 아닌가를 판정한다. 동화상 기록의 정지 지시가 있을 경우는(단계 S514에서 YES), 단계 S515의 처리로 진행된다. 정지 지시가 없을 경우에는(단계 S514에서 NO), 단계 S508의 처리로 되돌아간다. 단계 S508에서, 시스템 제어부(50)는, 다음 프레임을 위한 처리를 행한다.
단계 S515에서는, 시스템 제어부(50)는, 기록 매체(90)에 기록된 동화상 파일의 클로즈 처리를 행한다.
단계 S516에서는, 시스템 제어부(50)는, 정지 화상의 촬영을 지시하는 정지 화상 촬영 지시가 있는가 아닌가를 판정한다. 예를 들면, 모드 전환 스위치(60)에 의해 정지 화상 촬영 모드로 설정된 상태에서, 셔터 버튼(61)이 누르어지면, 시스템 제어부(50)는 정지 화상 촬영 지시가 있다고 판정된다(단계 S516에서 YES). 또한, 리모트 ＬＶ표시 동안에 외부기기로부터의 정지 화상 촬영 지시가 있는 경우도 YES라고 판정한다. 정지 화상 촬영 지시가 있는 경우는(단계 S516에서 YES), 단계 S517의 처리로 진행된다. 그렇지 않을 경우는(단계 S516에서 NO), 단계 S522의 처리로 진행된다.
단계 S517에서는, 시스템 제어부(50)는, 자세검지부(55)로 디지탈 카메라(100)의 중력방향에 대한 자세를 검지한다. 시스템 제어부(50)는, 기록하는 정지 화상의 자세정보로서 시스템 메모리(52)에 그 자세를 기억한다. 또한, 시스템 제어부(50)는, 자세검지부(55)의 출력에 근거해서 역치이상의 진동이 있는 것인가 아닌가를 판정한다. 시스템 제어부(50)는, 검지한 진동의 양을 나타내는 진동 정보를 시스템 메모리(52)에 기록한다. 이것들의 정보는, 후술하는 단계 S521에서, 정지 화상인 ＶＲ화상에 관련지어 속성정보로서 기록된다.
단계 S518에서는, 시스템 제어부(50)는, 자세검지부(55) 및/또는 측위 센서(도시되지 않음)의 출력에 근거하여, 디지탈 카메라(100)의 이동 속도를 검지한다. 이동 속도는 1프레임의 기간내에서 검지된 것에 한정하지 않고, 몇몇 프레임전으로부터 얻어진 정보(예를 들면, 기록 시작 직후이면, 기록 시작 직전의 단계 S506에서 해석된 정보)에도 근거하여 검지된다. 시스템 제어부(50)는, 검지된 이동 속도를 나타내는 이동 정보를 시스템 메모리(52)에 기록한다. 후술하는 단계 S521에서, 그 이동 정보는, 정지 화상인 ＶＲ화상에 관련지어 속성정보로서 기록된다.
단계 S519에서는, 시스템 제어부(50)는, 촬상부(22a, 22b)를 사용하여, 정지 화상을 촬상하고, 그 정지 화상을 메모리(32)에 기억한다.
단계 S520에서는, 시스템 제어부(50)는, 화상처리부(24)를 사용하여, 메모리(32)에 기억된 촬상된 화상에 전술의 연결 화상 처리를 적용하여 단일의 ＶＲ화상을 생성하고, 메모리(32)에 그 ＶＲ화상을 기억한다.
단계 S521에서는, 시스템 제어부(50)는, 메모리(32)에 기억된 ＶＲ화상을, 정지 화상인 ＶＲ화상으로서 기록 매체(90)에 정지 화상 파일의 형태로 기록한다. 정지 화상 파일에는, 뒤에 ＶＲ뷰의 이용 가능성을 식별하는데 사용 가능하며, 정지 화상이 ＶＲ화상인 것을 나타내는 속성정보(metadata)도 부여된다. 여기에서 기록하는 정지 화상 파일의 속성정보로서 시스템 메모리(52)에 기록된 자세정보, 이동 정보 및 진동 정보를 속성정보(metadata)로서 정지 화상 파일에 관련지어 기록한다. 만약에 있다면, 또한, 불휘발성 메모리(56)에 기록된 설치 장소의 설정 정보(설치 장소 정보)도 정지 화상 파일에 관련지어 기록된다.
단계 S522에서는, 시스템 제어부(50)는, 전원 오프, 촬영 모드이외의 동작 모드에의 천이 지시등의, 종료 이벤트가 있는가 아닌가를 판정한다. 종료 이벤트가 없을 경우는(단계 S522에서 NO), 단계 S501의 처리로 되돌아가 반복한다. 종료 이벤트가 있을 경우는(단계 S522에서 NO), 촬영 처리를 종료한다.
이상과 같이 해서, 후술의 재생 처리(표시 제어 처리)로 재생되는 ＶＲ화상이 기록된다. 기록 매체(90)에 기록된 ＶＲ화상은, 표시 제어장치(200)에 기록 매체(90)를 로딩하거나, 표시 제어장치(200)에 무선 또는 유선에 의해 전송함으로써, 표시 제어장치(200)에 표시하는 것이 가능하다.
도7에, 표시 제어장치(200)에 의해 ＶＲ화상의 표시 제어 처리의 흐름도를 나타낸다. 이 처리는, ＣＰＵ(201)가, 불휘발성 메모리(203)에 기록된 프로그램을, 메모리(202)를 워크 메모리로서 사용하여 로딩해서 실행함으로써 실현된다. 디스플레이(205)에 일람 표시된 화상으로부터 ＶＲ화상이 선택되고, ＶＲ화상의 재생 및 표시가 지시되면 도7의 처리가 시작된다.
단계 S701에서는, ＣＰＵ(201)는, 불휘발성 메모리(203)를 참조하고, 보정설정이 메뉴얼로 되어 있는 것인가 아닌가를 판정한다. 보정설정이 메뉴얼로 설정되지 않은 경우, 즉 오토로 설정된 경우는(단계 S701에서 NO), 단계 S702의 처리로 진행된다. 보정설정이 메뉴얼로 설정되는 경우는(단계 S701에서 YES), 단계 S703의 처리로 진행된다. 보정설정은, ＶＲ화상의 천정보정 및 요각보정에 관해서 미리 유저 조작에 근거해서 설정되어, 불휘발성 메모리(203)에 기록되어 있는 설정이다. 보정설정시는, 도6b와 같은 보정설정 화면이 디스플레이(205)에 표시된다. 보정설정 화면에 있어서, 유저는, 오토와 메뉴얼의 어느 한쪽을 선택할 수 있다. 메뉴얼이 선택되었을 경우, 천정보정과 요각보정의 각각에 대해서, 온 또는 오프로 할지를 별개로 선택할 수 있다. 유저에 의한 선택 조작 후, ＣＰＵ(201)는 선택된 내용을 보정설정으로서 불휘발성 메모리(203)에 기록한다.
단계 S702에서는, ＣＰＵ(201)는, 오토 보정 판별처리를 행한다. 이 오토 보정 판별처리는, 조건에 근거하여 제1∼제4의 표시 방법 중 어느 하나를 자동적으로 선택해서 ＶＲ화상을 표시하는 처리다. 오토 보정 판별처리의 상세한 것은 도8을 참조하여 후술한다.
단계 S703에서는, ＣＰＵ(201)는, 보정설정으로 천정보정이 온으로 설정되는가 아닌가를 판정한다. 천정보정이 온으로 설정되는 경우에는(단계 S703에서 YES), 단계 S704의 처리로 진행된다. 천정보정이 오프로 설정되는 경우에는(단계 S703에서 NO), 단계 S707의 처리로 진행된다.
단계 S704에서는, ＣＰＵ(201)는, 보정설정으로 요각보정이 온으로 설정되는가 아닌가를 판정한다. 요각보정이 온으로 설정되는 경우는(단계 S704에서 YES), 단계 S705의 처리로 진행된다. 요각보정이 오프로 설정되는 경우에는(단계 S704에서 NO), 단계 S706의 처리로 진행된다.
단계 S705에서는, ＣＰＵ(201)는, 디스플레이(205)에, ＶＲ화상을 전술의 제1의 표시 방법으로 표시한다. 구체적으로, ＣＰＵ(201)는, 천정보정과 요각보정의 쌍방을 행해서 ＶＲ화상을 표시한다. 천정보정과 요각보정은, 표시하는 ＶＲ화상의 속성정보로서 부여된 자세정보에 근거해서 행한다. ＶＲ뷰일 경우에는, ＣＰＵ(201)는, 표시하는 ＶＲ화상의 속성정보로서 부여된 자세정보와, 자세검지부(213)로 검지된 현재의 표시 제어장치(200)의 자세의 쌍방에 근거해서, 보정을 행한다. 이 결과, 도4e에서 설명한 바와 같이 ＶＲ화상이 표시된다.
단계 S706에서는, ＣＰＵ(201)는, 디스플레이(205)에, ＶＲ화상을 전술의 제2의 표시 방법으로 표시한다. 구체적으로, ＣＰＵ(201)는, 천정보정을 행하고, 요각보정은 행하지 않고 표시한다. 천정보정은, 표시하는 ＶＲ화상의 속성정보로서 부여된 자세정보에 근거해서 행해진다. ＶＲ뷰일 경우에는, ＣＰＵ(201)는, 표시하는 ＶＲ화상의 속성정보로서 부여된 자세정보와, 자세검지부(213)로 검지된 현재의 표시 제어장치(200)의 자세의 쌍방에 근거해서, 보정을 행한다. 이 결과, 도4d에서 설명한 바와 같이 ＶＲ화상이 표시된다.
단계 S707에서는, ＣＰＵ(201)는, 보정설정으로 요각보정이 온으로 설정되는가 아닌가를 판정한다. 요각보정이 온으로 설정되는 경우는(단계 S707에서 YES), 단계 S708의 처리로 진행된다. 요각보정이 오프로 설정되는 경우에는(단계 S707에서 NO), 단계 S709의 처리로 진행된다.
단계 S708에서는, ＣＰＵ(201)는, 디스플레이(205)에, ＶＲ화상을 전술의 제3의 표시 방법으로 표시한다. 구체적으로, ＣＰＵ(201)는, 천정보정은 행하지 않고, 요각보정을 행해서 ＶＲ화상을 표시한다. ＣＰＵ(201)는, 요각보정을, 표시하는 ＶＲ화상의 속성정보로서 부여된 자세정보에 근거해서 행한다. ＶＲ뷰일 경우에는, ＣＰＵ(201)는, 표시하는 ＶＲ화상의 속성정보로서 부여된 자세정보와, 자세검지부(213)로 검지된 현재의 표시 제어장치(200)의 자세의 쌍방에 근거해서 보정을 행한다. 이 결과, 도4c에서 설명한 바와 같이 ＶＲ화상이 표시된다.
단계 S709에서는, ＣＰＵ(201)는, 디스플레이(205)에, ＶＲ화상을 전술의 제4의 표시 방법으로 표시한다. 구체적으로, ＣＰＵ(201)는, 천정보정 또는 요각보정을 행하지 않고 표시한다(자세에 관한 보정을 행하지 않고 ＶＲ화상을 표시한다). 따라서, ＣＰＵ(201)는, ＶＲ화상의 속성정보로서 부여된 자세정보에는 근거하지 않고 ＶＲ화상을 표시한다. 이 결과, 도4b에서 설명한 바와 같이 ＶＲ화상이 표시된다.
도8에, 도7의 단계 S702의 오토 보정 판별처리의 상세의 흐름도를 나타낸다. 이 처리는, ＣＰＵ(201)가, 불휘발성 메모리(203)에 기록된 프로그램을, 메모리(202)를 워크 메모리로서 로딩해서 실행함에 의해 실현된다.
단계 S801에서는, ＣＰＵ(201)는, ＶＲ화상의 표시 방법으로서 ＶＲ뷰가 설정되어 있는 것인가 아닌가를 판정한다. ＶＲ뷰가 설정되는 경우에는(단계 S801에서 YES), 단계 S802의 처리로 진행된다. ＶＲ뷰가 설정되지 않은 경우에는(단계 S801에서 NO), 단계 S803의 처리로 진행된다.
단계 S802에서는, ＣＰＵ(201)는, 디스플레이(205)에, ＶＲ화상을 전술의 제1의 표시 방법으로 표시한다. 구체적으로, ＣＰＵ(201)는, 천정보정과 요각보정의 쌍방을 행해서 ＶＲ화상을 표시한다. 이 결과, 도4e에서 설명한 바와 같이 ＶＲ화상이 표시된다. 이 처리는, 단계 S705와 같다.
단계 S803에서는, ＣＰＵ(201)는, 표시하는 ＶＲ화상의 속성정보(metadata)를 취득한다(정보취득 또는 정보판독).
단계 S804에서는, ＣＰＵ(201)는, 단계 S803에서 취득한 속성정보에 포함된, ＶＲ화상을 촬영할 때의 설치 장소의 설정을 나타내는 설치 장소 정보에 근거하여, 설치 장소가 미지정인가 아닌가를 판정한다. 설치 장소가 미지정이었을 경우는(단계 S804에서 NO), 단계 S811의 처리로 진행된다. 설치 장소가 지정된 경우에는(단계 S804에서 YES), 단계 S805의 처리로 진행된다.
단계 S805에서는, ＣＰＵ(201)는, 단계 S803에서 취득한 속성정보에 포함된 설치 장소 정보에 근거하여, 설치 장소가 제1군에 포함된 설치 장소 중 어느 하나인가 아닌가를 판정한다. 제1군에는, 소지 장소, 삼각대, 셀피 스틱, 및 천장 중 적어도 1개가 포함된다. 설치 장소가 제1군에 포함된 설치 장소 중 어느 하나인 경우에는(단계 S805에서 YES), 단계 S802의 처리로 진행된다. 단계 S802에서, ＣＰＵ(201)는, 제1의 표시 방법으로 ＶＲ화상을 표시한다. 그렇지 않을 경우에는(단계 S805에서 NO), 단계 S806의 처리로 진행된다.
단계 S806에서는, ＣＰＵ(201)는, 단계 S803에서 취득한 속성정보에 포함된 설치 장소 정보에 근거하여, 설치 장소가 제2군에 포함된 설치 장소 중 어느 하나인가 아닌가를 판정한다. 제2군에는, 자전거, 스키, 스노보드, 서프보드, 자동차, 및 보디 워언 중 적어도 1개가 포함된다. 설치 장소가 제2군에 포함된 설치 장소 중 어느 하나인 경우에는(단계 S806에서 YES), 단계 S807의 처리로 진행된다. 그렇지 않을 경우에는(단계 S805에서 NO), 단계S808의 처리로 진행된다.
단계 S807에서는, ＣＰＵ(201)는, 디스플레이(205)에, ＶＲ화상을 전술의 제2의 표시 방법으로 표시한다. 구체적으로, ＣＰＵ(201)는, 천정보정을 행하고, 요각보정은 행하지 않고 ＶＲ화상을 표시한다. 이 결과, 도4d에서 설명한 바와 같이 ＶＲ화상이 표시된다. 이 처리는 단계 S706과 같다.
단계 S808에서는, ＣＰＵ(201)는, 단계 S803에서 취득한 속성정보에 포함된 설치 장소 정보에 근거하여, 설치 장소가 제3군에 포함된 설치 장소 중 어느 하나인가 아닌가를 판정한다. 제3군에는, 예를 들면 드론이 포함된다. 행글라이더, 스카이다이빙 및 패러슈트도 포함되어도 좋다. 설치 장소가 제3군에 포함된 설치 장소 중 어느 하나인 경우에는(단계 S808에서 YES), 단계 S809의 처리로 진행된다. 그렇지 않을 경우(단계 S808에서 NO)(제4군이었을 경우)에는, 단계 S810의 처리로 진행된다.
단계 S809에서는, ＣＰＵ(201)는, 디스플레이(205)에, ＶＲ화상을 전술의 제3의 표시 방법으로 표시한다. 구체적으로, ＣＰＵ(201)는, 천정보정을 행하지 않고, 요각보정을 행해서 ＶＲ화상을 표시한다. 이 결과, 도4c에서 설명한 바와 같이 ＶＲ화상이 표시된다. 이 처리는 단계 S708과 같다.
단계 S810에서는, ＣＰＵ(201)는, 디스플레이(205)에, ＶＲ화상을 전술의 제4의 표시 방법으로 표시한다. 구체적으로, ＣＰＵ(201)는, 천정보정 또는 요각보정을 행하지 않고 ＶＲ화상을 표시한다(자세에 관한 보정을 행하지 않고 표시한다). 이 결과, 도4b에서 설명한 바와 같이 ＶＲ화상이 표시된다. 이 처리는 단계 S709와 같다.
본 실시예에 있어서는, ＶＲ화상을 촬영할 때의 설치 장소를 유저가 미리 설정해 두는 것으로 하여 설명했다. 그러나, 이것에 한정되지 않는다. 유저가 설치 장소를 설정하지 않고, 자동적으로 설치 장소를 판정할 수 있을 경우에는, ＣＰＵ(201)는, 자동적으로 판정한 설치 장소의 정보를 사용해서 단계 S804, S805, S806 및 S808의 판정을 행해도 좋다. 이 경우, 단계 S804의 판정은, 설치 장소가 미지정이거나 자동적으로 판정될 수 없는 경우에 NO가 된다. 예를 들면, 촬영시의 디지탈 카메라(100)의 자세검지부(55)에서의 검지 결과에 근거하여, 진동이 거의 없는 상태로 ＶＲ화상이 촬영된다고 안 경우에, ＶＲ화상은 설치 장소가 삼각대로 설정되어서 촬영되었다고 판정될 수 있다. 디지탈 카메라(100)에 접속된 설치 장소-특정의 악세사리(첨부)의 종별을 판정함으로써 설치 장소를 판정할 수 있다.
단계 S811에서는, ＣＰＵ(201)는, 단계 S803에서 취득한 속성정보에 포함된 이동 정보에 근거하여, 촬영시에 디지탈 카메라(100)의 이동 속도가 역치를 초과하는가 아닌가를 판정한다. 촬영시에 디지탈 카메라(100)의 이동 속도가 역치를 초과하는 경우에는(단계 S811에서 YES), 단계 S807의 처리로 진행된다. 단계 S807에서는, ＣＰＵ(201)는, 제2의 표시 방법으로 ＶＲ화상을 표시한다. 그렇지 않을 경우에는(단계 S811에서 NO), 단계 S812의 처리로 진행된다.
단계 S812에서는, ＣＰＵ(201)는, 표시하는 ＶＲ화상이 동화상일 경우에는, 표시하는 동화상을 해석한다. 이 처리는, 전술의 도5의 단계 S512에서 시스템 제어부(50)가 행한 처리와 같다. 재생시의 이 해석에 의해, ＣＰＵ(201)는, 진동 정보와 정지 피사체 정보를 취득한다. 단계 S803에서 취득한 속성정보에 진동 정보와 정지 피사체 정보가 포함되어 있을 경우(즉, 촬영시에 ＶＲ화상이 이미 해석된 경우)에, 단계 S812를 건너뛸 수 있다.
단계 S813에서는, ＣＰＵ(201)는, 표시하는 ＶＲ화상에, 소정면적이상의 정지 피사체가 존재하는 것인가 아닌가를 판정한다. 소정면적이상의 정지 피사체가 존재할 경우에는(단계 S813에서 YES), 단계 S807의 처리로 진행된다. 그렇지 않을 경우에는(단계 S813에서 NO), 단계 S814의 처리로 진행된다. 단계 S803에서 취득한 속성정보에 정지 피사체 정보가 포함되고, 표시하는 ＶＲ화상에 소정면적이상의 정지 피사체가 존재하는 것을 그 정지 피사체 정보가 나타내는 경우에는, 예(YES)라고 판정한다. 또한, 단계 S812에서 해석한 결과, 소정면적이상의 정지 피사체가 존재한다고 판정되었을 경우에도 예(YES)라고 판정한다. 또한, 표시하는 ＶＲ화상이 동화상일 경우에는, 소정시간 동안(소정기간이상), 소정면적이상의 정지 피사체가 포함되어 있었을 경우에, 예라고 판정해도 좋다. 또한, 기록된 동화상의 시작 시점부터 소정시간까지, 혹은 최후까지 계속해서 소정면적이상의 정지 피사체가 존재했을 경우에, 예라고 판정해도 좋다. 그 이유는, ＶＲ화상을 촬영한 디지탈 카메라(100)가 탈것에 설치되어 있었을 경우에는, 소정면적이상의 정지 피사체로서, 디지탈 카메라(100)가 설치된 탈것의 일부가 기록의 시작부터 상기 화상에서 보이기 때문이다.
단계 S814에서는, ＣＰＵ(201)는, 표시하는 ＶＲ화상을 촬영할 때의 디지탈 카메라(100)의 진동이 역치를 초과하는가 아닌가를 판정한다. 디지탈 카메라(100)의 진동이 역치를 초과하는 경우는(단계 S814에서 YES), 단계 S807의 처리로 진행된다. 그렇지 않을 경우는(단계 S814에서 NO), 단계 S802의 처리로 진행된다. 단계 S803에서 취득한 속성정보에 진동 정보가 포함되고, 표시하는 ＶＲ화상을 촬영한 디지탈 카메라(100)의 진동이 역치를 초과하는 것을 그 진동 정보가 나타내는 경우에는, 예라고 판정한다. 또한, 단계 S812에서 해석한 결과, 디지탈 카메라(100)의 진동이 그 역치를 초과한다고 판정되었을 경우에도, 예라고 판정한다.
이상과 같이 해서, ＶＲ화상을 표시할 때에 천정보정과 요각보정의 각각에 대해서 실행할 것인가 아닌가를 적응적으로 결정한다. 이에 따라 유저는 ＶＲ화상을 보다 적절한 표시로 감상할 수 있다. 상술의 도7 및 도8에서는, 이하의 (1)∼(5)조건에 근거해서 ＶＲ화상의 다른 표시 방법을 사용하는 예를 설명했다:
(1) 재생 방법(표시 방법)의 유저 설정에 근거한 다른 표시 방법의 이용(단계 S703∼단계 S709, 단계 S801)
(2) 촬영시의 설정 정보에 근거한 다른 표시 방법의 이용(단계 S804∼단계 S810)
(3) 촬영시의 디지탈 카메라(100)의 이동 속도에 근거한 다른 표시 방법의 이용(단계 S811)
(4) 디지탈 카메라(100)의 진동의 크기에 근거한 다른 표시 방법의 이용(단계 S814), 및
(5) 영상의 해석 결과(화상해석 결과)에 근거한 다른 표시 방법의 이용(단계 S813, 단계 S814)
(1)∼(5)의 조건에 근거한 판정(이후, 조건판정 (1)∼(5)라고 해도 좋다)은, 상술의 도7, 도8의 순서에 한정되는 것은 아니다. 예를 들면, 단계 S801에서 상기 표시 방법이 ＶＲ뷰인가 아닌가를 판정하기 전에, 단계 S804의 설치 장소의 판정을 행하여도 좋다. 설치 장소가 이미 지정되었으면, 단계 S805, S806, S808의 판정에 근거해서 표시 방법을 결정해도 좋다. 다시 말해, 설치 장소가 지정되었으면, ＶＲ뷰인가 아닌가에 관계되지 않고, 설치 장소에 근거해서 표시 방법을 결정해도 좋다. 설치 장소가 미지정이면, 단계 S801에서, ＣＰＵ(201)는, 그 표시 방법이 ＶＲ뷰인가 아닌가를 판정한다. 그 표시 방법이 ＶＲ뷰이면(단계 S801에서 YES), 단계 S802의 처리로 진행된다. 그렇지 않을 경우에(단계 S801에서 NO), 단계 S811의 처리로 진행된다. 단계 S801, S804, S805, S806, S808의 판정전에, 단계 S813의 판정을 행하여도 된다. 소정면적이상의 정지 피사체가 있을 경우에, ＶＲ뷰인가 아닌가에 관계되지 않고, 또한, 설치 장소에 관계없이, 제2의 표시 방법으로 ＶＲ화상을 표시하여도 좋다. 소정면적이상의 정지 피사체가 없을 경우에, 그 밖의 조건에 근거해서 상기 표시 방법을 판정한다. 마찬가지로, 그 판정의 순서는 적절하게 변경되어도 좋다.
(1)∼(5)의 조건판정을 모두 행할 필요는 없다. 적어도 하나의 판정을 행하면, 다른 조건판정을 행할 필요는 없다. 예를 들면, 표시 제어장치(200)상에서 재생 방법의 메뉴얼 설정을 어쩌다 할 수 없는 경우에, 단계 S701, 단계 S703∼단계 S709의 처리를 생략하고, 단계 S702의 처리만을 행하여도 좋다. 단계 S801의 처리를 생략하여, 도8의 오토 보정 판별처리를 단계 S803에서 시작하여도 좋다. 구체적으로, 그 표시 방법이 ＶＲ뷰인가 아닌가에 관계되지 않고 다른 조건에 근거해서 표시 방법을 결정하여도 좋다. 이것들에 한정하지 않고, (1)∼(5)의 조건판정을 적절하게 생략해도 좋다.
<변형 예>
상술의 실시예에서는, 표시 방법을 재생시에 결정하고, 천정보정 및 요각보정을 재생시에 적용하는 예를 설명하였다. 그렇지만, 이것에 한정되는 것이 아니다. 촬영시의 조건판정에 따라, 천정보정 및/또는 요각보정을 적용한 ＶＲ화상을 기록해도 좋다. 이러한 경우에, 재생장치(표시 제어장치200)는 특별한 판정이나 보정처리를 하지 않고서, 상기 기록된 ＶＲ화상을 단지 재생 및 표시하는 것만으로, 유저에게 적합한 방향으로 ＶＲ화상을 표시할 수 있다.
도9에, 촬영시의 조건판정의 예를 나타낸다. 도9는, 디지탈 카메라(100)로 행해진 영상보정처리의 예를 나타내는 흐름도다. 이 처리는, 전술한 도5에서 설명한 단계 S512의 처리 후와, 단계 S513의 처리 전에, 행해진다. 이 처리는, 불휘발성 메모리(56)에 기억된 프로그램을 시스템 메모리(52)에 로딩해서 시스템 제어부(50)가 실행함으로써, 실현된다.
단계 S901에서는, 시스템 제어부(50)는, 불휘발성 메모리(56)에 기록된 설정을 참조하고, 보정설정이 메뉴얼로 설정되어 있는 것인가 아닌가를 판정한다. 본 변형 예에 있어서는, 보정설정이 메뉴얼로 설정되지 않고 있을 경우(오토로 설정되어 있을 경우)(단계 S901에서 NO), 단계 S902의 처리로 진행된다. 그 보정설정이 메뉴얼로 설정되어 있을 경우는(단계 S901에서 YES), 단계 S903의 처리로 진행된다. 보정설정은, ＶＲ화상의 천정보정 및 요각보정에 관해서, 디지탈 카메라(100)로 미리 유저 조작에 근거하여 설정되고, 불휘발성 메모리(56)에 기록되어 있는, 설정이다. 보정설정을 할 때는, 도6b와 같은 보정설정 화면이, 디지탈 카메라(100)에 접속된 외부기기인 표시 제어장치(200)의 디스플레이(205)에 표시된다. 보정설정 화면은, 디지탈 카메라(100)의 표시부(28)에 표시되어도 좋다. 보정설정 화면에 있어서, 유저는, 오토와 메뉴얼의 어느 한쪽을 선택할 수 있다. 메뉴얼이 선택되었을 경우, 천정보정과 요각보정의 각각에 대해서, 온으로 할지 오프로 할지를 별개로 선택가능하다. 유저에 의한 선택 조작 후, 시스템 제어부(50)는 선택된 내용을 보정설정으로서 불휘발성 메모리(56)에 기록한다.
단계 S902에서는, 시스템 제어부(50)는, 오토 보정처리를 기록하는 것을 행한다. 이 처리는 도10을 참조하여 후술한다.
단계 S903, 단계 S904의 처리는, 전술한 도7의 S703, 단계 S704에서 ＣＰＵ(201)가 행하는 것으로서 설명한 처리와 같다. 따라서, 그 설명을 생략한다. 불휘발성 메모리(203) 대신에, 불휘발성 메모리(56)는 설정 정보에 대해 참조한다.
단계 S905에서는, 시스템 제어부(50)는, 화상처리부(24)를 사용하여서, ＶＲ화상에 제1의 보정 처리를 적용한다. 구체적으로, 시스템 제어부(50)는, 천정보정과 요각보정의 쌍방을 적용한다. 단계 S905의 처리가 종료한 후, 단계 S513의 처리로 진행된다. 단계 S513에서, 시스템 제어부(50)는, 단계 S905에서 제1의 보정처리가 행해진 동화상(ＶＲ화상)을 기록한다. 이렇게 하여 기록된 동화상을 보정 처리 없이 재생하면, 전술한 제1의 표시 방법과 마찬가지로 ＶＲ화상을 시청할 수 있다. 그 보정된 ＶＲ화상에 대하여, 재생 단계에서 보정처리의 중복 적용을 방지하기 위해서, 보정된 ＶＲ화상에는, 다음의 2개의 처리 중 적어도 한쪽을 적용한다. 제1 처리는, 천정과 요각이 보정된 것을 나타내는 속성정보를 부여하는 것이다. 표시 제어장치(200)는, 보정의 완료를 나타내는 상기 속성정보가 부여되는 경우에는, 상술의 조건판정(1)∼(5)에 관계없이, 제4의 표시 방법으로 ＶＲ화상을 표시한다. 제2 처리는, 보정된 ＶＲ화상의 자세정보를 천정의 기울기도 요각의 변화도 없도록 기록하는 것이다. 표시 제어장치(200)는, 천정의 기울기가 없고, 요각의 변화도 없는 ＶＲ화상을 표시할 때는, 제1의 표시 방법∼ 제4의 표시 방법 중 어느 표시 방법을 사용하는 것에 관계없이 상기 천정도 요각도 보정하지 않는다. 따라서, 상술의 조건판정(1)∼(5)를 행했다고 한들, 그에 따라서 제1의 표시 방법∼제4의 표시 방법의 어느 것이 선택되었다고 한들, 천정과 요각이 변경되지 않은 상태로 상기 ＶＲ화상이 표시된다.
단계 S906에서는, 시스템 제어부(50)는, 화상처리부(24)를 사용하여, ＶＲ화상에 제2의 보정 처리를 적용한다. 구체적으로, 시스템 제어부(50)는, 요각보정을 적용하지 않고 천정보정을 적용한다. 단계 S906의 처리가 종료한 후, 단계 S513의 처리로 진행된다. 단계 S513에서, 시스템 제어부(50)는, 단계 S906에서 제2의 보정처리가 행해진 동화상(ＶＲ화상)을 기록한다. 이렇게하여 기록된 동화상을 보정 처리 없이 재생하면, 전술한 제2의 표시 방법과 마찬가지로 ＶＲ화상을 시청하여도 된다. 그 보정된 ＶＲ화상에 대하여, 재생 단계에서 보정처리의 중복 적용을 방지하기 위해서, 보정된 ＶＲ화상에는, 다음의 2개의 처리 중 적어도 한쪽을 적용한다. 제1 처리는, 천정과 요각이 보정된 것을 나타내는 속성정보를 부여하는 것이다. 요각을 보정하지 않지만, 재생 단계에서 보정되지 않도록, 속성정보는 요각이 보정된 것을 나타낸다. 표시 제어장치(200)에서는, 보정의 완료를 나타내는 그 속성정보가 부여되어 있을 경우에는, 상술의 조건판정(1)∼(5)에 관계없이 제4의 표시 방법으로 ＶＲ화상을 표시한다. 제2 처리는, 보정된 ＶＲ화상의 자세정보를, 천정의 기울기도 요각의 변화도 없도록 기록하는 것이다. 표시 제어장치(200)에서는, 이렇게 천정의 기울기도 요각의 변화도 없는 ＶＲ화상을 표시할 때는, 제1의 표시 방법∼제4의 표시 방법의 어느 표시 방법을 사용함에 관계없이 천정 또는 요각을 보정하지 않는다. 따라서, 상술의 조건판정(1)∼(5)를 행했다고 한들, 이에 따라서 제1의 표시 방법∼제4의 표시 방법 중 어느 표시 방법이 선택되었다고 한들, 천정과 요각이 변경되지 않은 상태로 상기 ＶＲ화상이 표시된다.
단계 S907에서는, 시스템 제어부(50)는, 보정설정에 의해 요각보정이 온으로 설정되어 있는 것인가 아닌가를 판정한다. 요각보정이 온으로 설정되어 있을 경우는(단계 S907에서 YES), 단계 S908의 처리로 진행된다. 요각보정이 오프로 설정되어 있을 경우에는(단계 S907에서 NO), 단계 S909의 처리로 진행된다.
단계 S908에서는, 시스템 제어부(50)는, 화상처리부(24)를 사용하여, ＶＲ화상에 제3의 보정 처리를 적용한다. 구체적으로, 시스템 제어부(50)는, 천정보정을 적용하지 않고 요각보정을 적용한다. 단계 S908의 처리가 종료한 후, 단계 S513의 처리로 진행된다. 단계 S513에서는, 시스템 제어부(50)는, 단계 S908에서 제3의 보정처리가 행해진 상기 처리된 동화상(ＶＲ화상)을 기록한다. 이렇게하여 기록된 동화상을 보정 처리 없이 재생하면, 전술한 제3의 표시 방법과 마찬가지로 ＶＲ화상을 시청할 수 있다. 그 보정된 ＶＲ화상에 대하여, 재생 단계에서 보정처리의 중복 적용을 방지하기 위해서, 보정된 ＶＲ화상에는, 다음 2개의 처리의 적어도 한쪽을 적용한다. 제1 처리는, 천정과 요각의 쌍방이 보정된 것을 나타내는 속성정보를 부여하는 것이다. 천정은 보정되지 않지만, 재생 단계에서 보정되지 않도록, 속성정보는 천정이 보정되는 것을 나타낸다. 표시 제어장치(200)에서는, 이렇게 보정의 완료를 나타내는 속성정보가 부여되어 있을 경우에는, 상술의 조건판정(1)∼(5)에 관계없이 제4의 표시 방법으로 ＶＲ화상을 표시한다. 제2 처리는, 보정된 ＶＲ화상의 자세정보를 천정의 기울기도 요각의 변화도 없도록 기록하는 것이다.
단계 S909에서는, 시스템 제어부(50)는, ＶＲ화상을 천정보정 또는 요각보정을 적용하지 않고 기록한다. 단계 S909처리가 종료한 후, 단계 S513의 처리로 진행된다. 단계 S513에서는, 시스템 제어부(50)는, 미보정된 동화상(ＶＲ화상)을 기록한다. 이렇게하여 기록된 동화상을 보정 처리 없이 재생하면, 전술한 제4의 표시 방법과 마찬가지로 ＶＲ화상을 시청할 수 있다. 이렇게 보정되지 않는다고 판정되는 ＶＲ화상에 대하여, 재생 단계에서 새로운 보정처리의 적용을 방지하기 위해서, 다음 2개의 처리의 적어도 한쪽을 적용한다. 제1 처리는, 천정과 요각의 쌍방이 보정된 것을 나타내는 속성정보를 부여하는 것이다. 천정도 요각도 보정하지 않고 있지만, 속성정보는, 천정 및 요각이 보정되는 것을 나타내어, 재생 단계에서 새로운 보정을 행하지 않는다. 표시 제어장치(200)에서는, 이렇게 보정의 완료를 나타내는 속성정보가 부여되어 있을 경우에는, 상술의 조건판정(1)∼(5)에 관계없이, 제4의 표시 방법으로 ＶＲ화상을 표시한다. 제2 처리는, 보정된 ＶＲ화상의 자세정보를 천정의 기울기도 요각의 변화도 없도록, 기록하는 것이다.
도10에, 도9의 단계 S902의 기록시 오토 보정처리의 상세의 흐름도를 나타낸다. 이 처리는, 시스템 제어부(50)에 의해 불휘발성 메모리(56)에 기록된 프로그램을, 시스템 메모리(52)를 워크 메모리로서 사용하여 로딩해서 실행함으로써, 실현된다.
단계 S1004에서는, 시스템 제어부(50)는, 불휘발성 메모리(56)에 기억된 설치 장소의 설정 상태를 참조하고, 설치 장소가 지정된 것인가 아닌가를 판정한다. 설치 장소가 미지정인 경우(단계 S1004에서 NO), 단계 S1011의 처리로 진행된다. 설치 장소가 지정된 경우(단계 S1004에서 YES), 단계 S1005의 처리로 진행된다.
단계 S1005에서는, 시스템 제어부(50)는, 전술의 도8의 단계 S805에서 ＣＰＵ(201)가 행하는 것으로서 설명한 처리와 같은 처리를 행한다. 설치 장소가 제1군에 포함된 설치 장소 중에서 어느 하나일 경우에는(단계 S1005에서 YES), 단계 S1002의 처리로 진행된다. 그렇지 않을 경우에는(단계 S1005에서 NO), 단계 S1006의 처리로 진행된다.
단계 S1006에서는, 시스템 제어부(50)는, 전술의 도8의 단계 S806에서 ＣＰＵ(201)가 행하는 것으로서 설명한 처리와 같은 처리를 행한다. 설치 장소가 제2군에 포함된 설치 장소 중에서 어느 하나일 경우에는(단계 S1006에서 YES), 단계 S1007의 처리로 진행된다. 그렇지 않을 경우에는(단계 S1006에서 NO), 단계 S1008의 처리로 진행된다.
단계 S1008에서는, 시스템 제어부(50)는, 전술의 도8의 단계 S808에서 ＣＰＵ(201)가 행하는 것으로서 설명한 처리와 같은 처리를 행한다. 설치 장소가 제3군에 포함된 설치 장소 중에서 어느 하나일 경우에는(단계 S1008에서 YES), 단계 S1009의 처리로 진행된다. 그렇지 않을 경우에는(단계 S1008에서 NO), 단계 S1010의 처리로 진행된다.
단계 S1011에서는, 시스템 제어부(50)는, 단계 S509에서 검지된 디지탈 카메라(100)의 이동 속도가 역치를 초과한 것인가 아닌가를 판정한다. 디지탈 카메라(100)가 그 역치를 초과하는 이동 속도로 이동하고 있을 경우에는(단계 S1011에서 YES), 단계 S1007의 처리로 진행된다. 그렇지 않을 경우에는(단계 S1011에서 NO), 단계 S1013의 처리로 진행된다.
단계 S1013에서는, 시스템 제어부(50)는, 단계 S506 또는 단계 S512에서의 해석 결과에 근거하여, 기록하는 ＶＲ화상에, 소정면적이상의 정지 피사체가 존재하는 것인가 아닌가를 판정한다. 소정면적이상의 정지 피사체가 존재할 경우에는(단계 S1013에서 YES), 단계 S1007의 처리로 진행된다. 그렇지 않을 경우에는(단계 S1013에서 NO), 단계 S1014의 처리로 진행된다. 또한, 단계 S1013의 판정은, 소정시간에 소정면적이상의 정지 피사체가 기록된 동화상에 포함되어 있는 경우에, 예이어도 좋다. 기록된 동화상의 시작 시점부터 현시점까지 계속해서 소정면적이상의 정지 피사체가 존재하는 경우에, 예라고 판정해도 좋다. 그 이유는, ＶＲ화상을 촬영하는 디지탈 카메라(100)가 탈것에 설치되는 경우에는, 소정면적이상의 정지 피사체로서, 디지탈 카메라(100)가 설치된 탈것의 일부가 기록의 시작부터 보이기 때문이다.
단계 S1014에서는, 시스템 제어부(50)는, 단계 S508에서의 검지 결과에 근거하여, 디지탈 카메라(100)의 진동이 역치를 초과하는가(디지탈 카메라(100)가 소정조건을 충족시키는 진동을 하고 있는 것인가)를 판정한다. 디지탈 카메라(100)의 진동이 역치를 초과하는 경우는(단계 S1014에서 YES), 단계 S1007의 처리로 진행된다. 그렇지 않을 경우에는(단계 S1014에서 NO), 단계 S1002의 처리로 진행된다.
단계 S1002에서는, 시스템 제어부(50)는, ＶＲ화상에 제1의 보정 처리를 적용한다. 이 처리는 전술의 단계 S905와 같은 처리다.
단계 S1007에서는, 시스템 제어부(50)는, ＶＲ화상에 제2의 보정 처리를 적용한다. 이 처리는 전술의 단계 S906과 같은 처리다.
단계 S1009에서는, 시스템 제어부(50)는, ＶＲ화상에 제3의 보정 처리를 적용한다. 이 처리는 전술의 단계 S908과 같은 처리다.
단계 S1010에서는, 시스템 제어부(50)는, ＶＲ화상에 보정 처리를 적용하지 않는다. 이 처리는 전술의 단계 S909와 같은 처리다.
이상과 같이 해서, 동화상인 ＶＲ화상을 기록할 때에, 시스템 제어부(50)는, 보정을 행하고, 처리된 화상을 기록하는 것이 가능하다. 시스템 제어부(50)는, 마찬가지로 도5의 단계 S520에서 정지 화상인 ＶＲ화상에 대해보정을 행해서 기록하는 것이 가능하다.
상술의 도8, 도10의 처리에 더해서, 촬영시의 설정이 타임랩스(time-lapse) 촬영(인터벌 촬영)이었을 경우에는, ＶＲ화상이, 제1의 표시 방법으로 표시 또는 제1의 보정 처리될 수 있다. 그 이유는, 타임랩스 촬영(인터벌 촬영)이, 디지탈 카메라(100)가 정지 피사체에 설치되어, 주변의 아주 저속으로 움직이는 이동체의 움직임을 기록하는데 사용되는 애플리케이션 전용이라고 생각되기 때문이다.
시스템 제어부(50)가 행하는 것으로서 설명한 상술의 각종 제어, 및 ＣＰＵ(201)가 행하는 것으로서 설명한 상술의 각종 제어는, 1개의 하드웨어로 행해져도 좋다. 복수의 하드웨어가 처리를 분담함으로써, 장치(들) 전체의 제어를 행해도 좋다. 복수의 하드웨어의 예로서는, 복수의 프로세서, 복수의 회로, 및 프로세서와 회로의 양쪽이 있다.
본 발명의 실시예를 상세히 설명하였지만, 본 발명은 이러한 특정한 실시예에 한정되는 것이 아니고, 본 발명의 요지를 일탈하지 않는 여러가지 형태도 본 발명에 포함된다. 상술한 실시예는 본 발명의 일 실시예를 나타내는 것에 지나지 않고, 여러가지의 실시예를 적절하게 조합하여도 된다.
상술한 실시예에 있어서는, 본 발명의 실시예를 디지탈 카메라(100) 또는 표시 제어장치(200)에 적용했을 경우를 일례로서 설명했다. 그렇지만, 이러한 예에 한정되지 않는다. 본 발명의 실시예는, ＶＲ화상을 촬영 또는 표시할 수 있는 전자기기이면 적용가능하다. 보다 구체적으로, 본 발명의 실시예는, 퍼스널 컴퓨터, 개인 휴대 정보 단말기(ＰＤＡ), 휴대전화단말, 휴대형 화상 뷰어, 디스플레이를 갖는 프린터 장치, 디지탈 포토 프레임, 음악 플레이어, 게임기, 및 전자 북 리더에 적용가능하다.
본 발명의 실시예에 의하면, 보다 적합한 방향에서 광범위 화상을 표시할 수 있다.
그 밖의 실시예
또한, 본 발명의 실시예(들)는, 기억매체(보다 완전하게는 '비일시적 컴퓨터 판독 가능한 기억매체'라고도 함)에 레코딩된 컴퓨터 실행가능한 명령들(예를 들면, 하나 이상의 프로그램)을 판독하고 실행하여 상술한 실시예(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예(들)의 하나 이상의 기능을 수행하기 위한 하나 이상의 회로(예를 들면, 특정 용도 지향 집적회로(ASIC))를 구비하는 것인, 시스템 또는 장치를 갖는 컴퓨터에 의해 실현되고, 또 예를 들면 상기 기억매체로부터 상기 컴퓨터 실행가능한 명령을 판독하고 실행하여 상기 실시예(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예(들)의 하나 이상의 기능을 수행하는 상기 하나 이상의 회로를 제어하는 것에 의해 상기 시스템 또는 상기 장치를 갖는 상기 컴퓨터에 의해 행해지는 방법에 의해 실현될 수 있다. 상기 컴퓨터는, 하나 이상의 프로세서(예를 들면, 중앙처리장치(CPU), 마이크로처리장치(MPU))를 구비하여도 되고, 컴퓨터 실행 가능한 명령을 판독하여 실행하기 위해 별개의 컴퓨터나 별개의 프로세서의 네트워크를 구비하여도 된다. 상기 컴퓨터 실행가능한 명령을, 예를 들면 네트워크나 상기 기억매체로부터 상기 컴퓨터에 제공하여도 된다. 상기 기억매체는, 예를 들면, 하드 디스크, 랜덤액세스 메모리(RAM), 판독전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)TM등), 플래시 메모리 소자, 메모리 카드 등 중 하나 이상을 구비하여도 된다.
본 발명을 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형예, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.

Claims (22)

1개이상의 촬상부로 촬상된 광범위 화상을 취득하는 화상취득부;
상기 광범위 화상에 부여된, 촬영시의 촬상 장치의 자세를 나타내는 자세정보를 포함하는 속성정보를 취득하는 정보취득부; 및
상기 자세정보에 근거하여 천정과 요각을 보정해서 표시를 행하는 제1의 처리와, 상기 자세정보에 근거하여 천정을 보정하고 요각을 보정하지 않는 표시를 행하는 제2의 처리와, 상기 자세정보에 근거하여 요각을 보정하고 천정을 보정하지 않는 표시를 행하는 제3의 처리와, 상기 광범위 화상의 천정도 요각도 보정하지 않는 표시를 행하는 제4의 처리 중, 적어도 2개를 포함하는 복수의 처리 중 어느 하나를 조건에 근거하여 선택해서 상기 광범위 화상을 표시하도록 제어하는 제어부를 구비하는, 전자기기.
1개이상의 촬상부로 촬상된 광범위 화상을 취득하는 화상취득부;
상기 광범위 화상의 촬영시의 촬상 장치의 자세를 나타내는 자세정보를 취득하는 정보취득부; 및
상기 자세정보에 근거하여 천정과 요각을 보정하는 처리를 포함하는 제1의 처리와, 상기 자세정보에 근거하여 천정을 보정하고 요각을 보정하지 않는 처리를 포함하는 제2의 처리와, 상기 자세정보에 근거하여 요각을 보정하고 천정을 보정하지 않는 처리를 포함하는 제3의 처리와, 상기 광범위 화상의 천정도 요각도 보정하지 않는 제4의 처리 중, 적어도 2개를 포함하는 복수의 처리 중 어느 하나를 조건에 근거하여 선택해서 상기 광범위 화상에 적용하고, 처리된 광범위 화상을 기록하도록 제어하는 제어부를 구비하는, 전자기기.
제 2 항에 있어서,
상기 제어부는, 상기 제1 내지 제4의 처리 중 어느 하나를 적용하는 상기 처리된 광범위 화상에는, 상기 제1 내지 제4의 처리 중 어느 하나의 적용에 의해 이미 처리된 것을 나타내는 속성정보를 부여해서 기록하는 동작; 촬영시의 촬상 장치의 자세를 나타내는 정보를 기록하지 않는 동작; 및 중력방향에 대한 기울기의 부재를 나타내는 자세정보를 기록하는 동작 중 어느 하나를 행하여, 그 처리된 광범위 화상을 기록하도록 제어하는, 전자기기.
제 1 항에 있어서,
상기 제어부는, 상기 광범위 화상을, 상기 전자기기의 자세의 변화에 근거하여 표시 범위를 변경해서 표시하는 가상 현실(ＶＲ)뷰에서 표시할 경우에는, 상기 제1의 처리를 선택해서 표시하도록 제어하는, 전자기기.
제 1 항에 있어서,
상기 조건은, 상기 광범위 화상을 촬영할 때의 촬상 장치의 설정을 포함하는, 전자기기.
제 1 항에 있어서,
상기 조건은, 상기 광범위 화상을 촬영할 때의 촬상 장치의 설치 장소에 관한 정보를 포함하는, 전자기기.
제 6 항에 있어서,
상기 제어부는, 상기 설치 장소가 미지정, 셀피 스틱 및 소지 장소 중 어느 하나일 경우에는 상기 제1의 처리를 선택하는, 전자기기.
제 6 항에 있어서,
상기 제어부는, 상기 설치 장소가 자동차, 자전거, 스키 및 스노보드 중 어느 하나일 경우에는 상기 제2의 처리를 선택하는, 전자기기.
제 6 항에 있어서,
상기 제어부는, 상기 설치 장소가 드론을 포함하는 장소일 경우에는 상기 제3의 처리를 선택하는, 전자기기.
제 6 항에 있어서,
상기 제어부는, 상기 설치 장소가 헬멧과 롤러 코스터를 포함하는 장소 중 어느 하나일 경우에는 상기 제4의 처리를 선택하는, 전자기기.
제 1 항에 있어서,
상기 조건은, 상기 광범위 화상을 촬영할 때의 촬상 장치의 이동 속도에 관한 조건을 포함하는, 전자기기.
제 11 항에 있어서,
상기 제어부는, 상기 이동 속도가 소정속도를 초과할 경우에는 상기 제1의 처리를 선택하고, 상기 이동 속도가 상기 소정속도를 초과하지 않을 경우에는 상기 제2의 처리를 선택하도록, 제어하는, 전자기기.
제 1 항에 있어서,
상기 조건은, 상기 광범위 화상을 촬영할 때의 촬상 장치의 진동에 관한 조건을 포함하는, 전자기기.
제 13 항에 있어서,
상기 제어부는, 상기 진동이 소정조건을 초과하는 경우에는 상기 제1의 처리를 선택하고, 상기 진동이 상기 소정조건을 초과하지 않는 경우에는 상기 제2의 처리를 선택하도록, 제어하는, 전자기기.
제 1 항에 있어서,
상기 조건은, 상기 광범위 화상의 영상의 해석 결과를 포함하는, 전자기기.
제 15 항에 있어서,
상기 제어부는, 상기 해석 결과에 근거하여, 상기 광범위 화상에, 소정면적이상의 정지 피사체가 소정기간이상 포함될 경우에, 상기 제2의 처리를 선택하도록 제어하는, 전자기기.
제 5 항에 있어서,
상기 제어부는, 타임랩스 촬영 또는 인터벌 촬영일 경우에, 상기 제1의 처리를 선택하도록 제어하는, 전자기기.
제 1 항에 있어서,
상기 조건은, 상기 제1 내지 제4의 처리 중 어느 하나를 사용할지에 관해 미리 유저에 의해 선택되어 설정되는, 전자기기.
제 1 항 내지 제 18 중 어느 한 항에 있어서,
상기 광범위 화상은 ＶＲ화상을 포함하는, 전자기기.
제 1 항 내지 제 18 중 어느 한 항에 있어서,
상기 광범위 화상은, 전방위 화상, 전천구 화상, 및 180도이상의 시야각을 갖는 화상 중 적어도 어느 하나인, 전자기기.
1개이상의 촬상부로 촬상된 광범위 화상을 취득하는 단계;
상기 광범위 화상에 부여된, 촬영시의 촬상 장치의 자세를 나타내는 자세정보를 포함하는 속성정보를 취득하는 단계; 및
상기 자세정보에 근거하여 천정과 요각을 보정해서 표시를 행하는 제1의 처리와, 상기 자세정보에 근거하여 천정을 보정하고 요각을 보정하지 않는 표시를 행하는 제2의 처리와, 상기 자세정보에 근거하여 요각을 보정하고 천정을 보정하지 않는 표시를 행하는 제3의 처리와, 상기 광범위 화상의 천정도 요각도 보정하지 않는 표시를 행하는 제4의 처리 중, 적어도 2개를 포함하는 복수의 처리 중 어느 하나를 조건에 근거하여 선택해서 상기 광범위 화상을 표시하도록 제어하는 단계를 포함하는, 전자기기의 제어 방법.
1개이상의 촬상부로 촬상된, 180도이상의 시야각을 갖는 광범위 화상을 취득하는 단계;
상기 광범위 화상의 촬영시의 촬상 장치의 자세를 나타내는 자세정보를 취득하는 단계; 및
상기 자세정보에 근거하여 천정과 요각을 보정하는 처리를 포함하는 제1의 처리와, 상기 자세정보에 근거하여 천정을 보정하고 요각을 보정하지 않는 처리를 포함하는 제2의 처리와, 상기 자세정보에 근거하여 요각을 보정하고 천정을 보정하지 않는 처리를 포함하는 제3의 처리와, 상기 광범위 화상의 천정도 요각도 보정하지 않는 제4의 처리 중, 적어도 2개를 포함하는 복수의 처리 중 어느 하나를 조건에 근거하여 선택해서 상기 광범위 화상에 적용하고, 처리된 광범위 화상을 기록하도록 제어하는 단계를 포함하는, 전자기기의 제어 방법.
KR1020180170003A 2017-12-28 2018-12-27 전자기기 및 그 제어 방법 KR102415637B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017254237A JP7043255B2 (ja) 2017-12-28 2017-12-28 電子機器及びその制御方法
JPJP-P-2017-254237 2017-12-28

Publications (2)

Publication Number Publication Date
KR20190080780A true KR20190080780A (ko) 2019-07-08
KR102415637B1 KR102415637B1 (ko) 2022-07-01

Family

ID=65364686

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180170003A KR102415637B1 (ko) 2017-12-28 2018-12-27 전자기기 및 그 제어 방법

Country Status (6)

Country Link
US (1) US10893216B2 (ko)
JP (1) JP7043255B2 (ko)
KR (1) KR102415637B1 (ko)
CN (1) CN109981977B (ko)
DE (1) DE102018133322A1 (ko)
GB (1) GB2571611B (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11285368B2 (en) * 2018-03-13 2022-03-29 Vc Inc. Address direction guiding apparatus and method
WO2020166582A1 (ja) * 2019-02-15 2020-08-20 株式会社Ｊｖｃケンウッド 画像調整システム、画像調整装置、及び画像調整方法
JP7350510B2 (ja) * 2019-05-14 2023-09-26 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP7350511B2 (ja) * 2019-05-14 2023-09-26 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
US11082609B2 (en) * 2019-06-11 2021-08-03 Joseph Garff User device for facilitating the controlled operation of a camera
JP7388084B2 (ja) * 2019-09-20 2023-11-29 株式会社リコー 情報処理装置、方法および記録媒体
CN110611798B (zh) * 2019-09-30 2021-05-07 深圳市大拿科技有限公司 一种视频显示方法及装置
JP2021089382A (ja) * 2019-12-05 2021-06-10 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP7443751B2 (ja) 2019-12-19 2024-03-06 株式会社Ｊｖｃケンウッド バーチャル・リアリティ画像表示システム及びバーチャル・リアリティ画像表示システムの制御方法
JP7322692B2 (ja) 2019-12-19 2023-08-08 株式会社Ｊｖｃケンウッド 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法
JP7443749B2 (ja) 2019-12-19 2024-03-06 株式会社Ｊｖｃケンウッド 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法
JP7363454B2 (ja) * 2019-12-19 2023-10-18 株式会社Ｊｖｃケンウッド 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法
US20210349308A1 (en) * 2020-05-05 2021-11-11 Szu Wen FAN System and method for video processing using a virtual reality device
JP2022125529A (ja) * 2021-02-17 2022-08-29 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006059202A (ja) * 2004-08-20 2006-03-02 Iwate Univ 撮像装置及び画像補正方法
US20160182863A1 (en) * 2014-12-19 2016-06-23 Aisin Seiki Kabushiki Kaisha Vehicle circumference monitoring apparatus

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7184093B2 (en) 2002-05-20 2007-02-27 Thomson Licensing Video image formatting technique
US20050146631A1 (en) 2004-01-07 2005-07-07 Shelton Michael J. In-camera cropping to standard photo sizes
JP4284288B2 (ja) 2005-03-10 2009-06-24 株式会社東芝 パターン認識装置及びその方法
JP4745077B2 (ja) 2006-02-14 2011-08-10 オリンパスイメージング株式会社 撮像装置
US7817914B2 (en) 2007-05-30 2010-10-19 Eastman Kodak Company Camera configurable for autonomous operation
JPWO2009141951A1 (ja) 2008-05-19 2011-09-29 パナソニック株式会社 映像撮影装置および映像符号化装置
KR101627185B1 (ko) 2009-04-24 2016-06-03 삼성전자 주식회사 영상촬영장치의 제어방법
JP5274388B2 (ja) 2009-06-15 2013-08-28 キヤノン株式会社 撮像装置
EP2473871B1 (en) 2009-09-01 2015-03-11 Magna Mirrors Of America, Inc. Imaging and display system for vehicle
KR101735612B1 (ko) 2010-08-16 2017-05-15 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5853359B2 (ja) 2010-11-11 2016-02-09 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム
JP5613041B2 (ja) 2010-12-24 2014-10-22 パナソニック株式会社 カメラ装置、画像処理システムおよび画像処理方法
US9473702B2 (en) 2011-12-23 2016-10-18 Nokia Technologies Oy Controlling image capture and/or controlling image processing
US9143679B2 (en) 2012-01-26 2015-09-22 Canon Kabushiki Kaisha Electronic apparatus, electronic apparatus control method, and storage medium
JP2013214947A (ja) 2012-03-09 2013-10-17 Ricoh Co Ltd 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
US9738223B2 (en) 2012-05-31 2017-08-22 GM Global Technology Operations LLC Dynamic guideline overlay with image cropping
US9300873B2 (en) 2012-06-22 2016-03-29 Apple Inc. Automated tripod detection and handling in video stabilization
US9094540B2 (en) 2012-12-13 2015-07-28 Microsoft Technology Licensing, Llc Displacing image on imager in multi-lens cameras
JP5988860B2 (ja) 2012-12-21 2016-09-07 キヤノン株式会社 撮像装置及び撮像装置の制御方法
CN105379244B (zh) 2013-05-28 2019-04-12 奥林巴斯株式会社 摄像装置和摄像方法
US9712756B2 (en) 2013-08-21 2017-07-18 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
WO2015049899A1 (ja) 2013-10-01 2015-04-09 オリンパスイメージング株式会社 画像表示装置および画像表示方法
JP6079566B2 (ja) 2013-11-01 2017-02-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2015100002A (ja) 2013-11-19 2015-05-28 ソニー株式会社 撮像システム、撮像装置、情報処理装置および方法とプログラム
US9215377B2 (en) 2013-12-04 2015-12-15 Nokia Technologies Oy Digital zoom with sensor mode change
JP6452360B2 (ja) 2013-12-19 2019-01-16 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US9538078B2 (en) 2014-03-02 2017-01-03 Google Inc. User interface for wide angle photography
CN106664349B (zh) 2014-03-25 2020-03-13 6115187加拿大公司暨伊美景象公司 自动定义与场景图像内容相关的用户体验或系统行为的系统
JP2015191358A (ja) 2014-03-27 2015-11-02 富士フイルム株式会社 中心人物判定システム、中心人物判定システムに利用される情報端末、中心人物判定方法、ならびに中心人物判定プログラムおよび記録媒体
JP5843034B1 (ja) 2014-05-15 2016-01-13 株式会社リコー 動画表示装置およびプログラム
JP2016019249A (ja) 2014-07-11 2016-02-01 キヤノン株式会社 表示制御装置
WO2016022984A1 (en) 2014-08-08 2016-02-11 Fusar Technologies, Inc. Helmet system and methods
CN106796390A (zh) 2014-10-07 2017-05-31 诺基亚技术有限公司 用于立体成像的具有大视场的相机设备
US9712751B2 (en) 2015-01-22 2017-07-18 Apple Inc. Camera field of view effects based on device orientation and scene content
JP5846549B1 (ja) 2015-02-06 2016-01-20 株式会社リコー 画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラム
CN107736010A (zh) 2015-06-24 2018-02-23 奥林巴斯株式会社 图像处理装置、摄像装置、图像处理方法、图像处理程序和存储介质
EP3335418A1 (en) 2015-08-14 2018-06-20 PCMS Holdings, Inc. System and method for augmented reality multi-view telepresence
JP6627352B2 (ja) 2015-09-15 2020-01-08 カシオ計算機株式会社 画像表示装置、画像表示方法及びプログラム
FR3044141B1 (fr) * 2015-11-23 2017-12-08 Parrot Drone muni d'une camera video delivrant des sequences d'images corrigees de l'effet wobble
JP6659130B2 (ja) 2015-12-04 2020-03-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US10324290B2 (en) * 2015-12-17 2019-06-18 New Skully, Inc. Situational awareness systems and methods
JP6645245B2 (ja) 2016-02-19 2020-02-14 株式会社ザクティ 全天球撮影システム
JP2017146927A (ja) 2016-02-19 2017-08-24 ソニーモバイルコミュニケーションズ株式会社 制御装置、制御方法及びプログラム
JP2017169111A (ja) 2016-03-17 2017-09-21 ソニー株式会社 撮像制御装置、および撮像制御方法、ならびに撮像装置
WO2017191978A1 (en) 2016-05-02 2017-11-09 Samsung Electronics Co., Ltd. Method, apparatus, and recording medium for processing image
JP2017204674A (ja) 2016-05-09 2017-11-16 株式会社ソニー・インタラクティブエンタテインメント 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
JP2017224981A (ja) 2016-06-15 2017-12-21 キヤノン株式会社 動画再生装置とその制御方法、プログラム及び記憶媒体
CN106161985B (zh) 2016-07-05 2019-08-27 宁波菊风系统软件有限公司 一种浸入式视频会议的实现方法
KR102612988B1 (ko) 2016-10-20 2023-12-12 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법
JP6936930B2 (ja) 2016-10-28 2021-09-22 Ｏｍデジタルソリューションズ株式会社 撮像装置および焦点調節方法
KR20180051288A (ko) 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN106791378A (zh) 2016-11-29 2017-05-31 广东欧珀移动通信有限公司 控制方法、控制装置和电子装置
EP3563337A1 (en) * 2016-12-28 2019-11-06 Ricoh Company, Ltd. Image processing apparatus, image processing system, image capturing system, image processing method, and recording medium
US10560682B2 (en) 2017-01-13 2020-02-11 Gopro, Inc. Methods and apparatus for providing a frame packing arrangement for panoramic content
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
CN106911902B (zh) 2017-03-15 2020-01-07 微鲸科技有限公司 视频图像传输方法、接收方法及装置
US10218906B2 (en) 2017-03-22 2019-02-26 Htc Corporation Camera device and method for camera device
US10410314B2 (en) 2017-04-27 2019-09-10 Apple Inc. Systems and methods for crossfading image data
US10375375B2 (en) 2017-05-15 2019-08-06 Lg Electronics Inc. Method of providing fixed region information or offset region information for subtitle in virtual reality system and device for controlling the same
US10645035B2 (en) 2017-11-02 2020-05-05 Google Llc Automated assistants with conference capabilities
US10841558B2 (en) 2017-11-17 2020-11-17 Omnivision Technologies, Inc. Aligning two images by matching their feature points

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006059202A (ja) * 2004-08-20 2006-03-02 Iwate Univ 撮像装置及び画像補正方法
US20160182863A1 (en) * 2014-12-19 2016-06-23 Aisin Seiki Kabushiki Kaisha Vehicle circumference monitoring apparatus

Also Published As

Publication number Publication date
KR102415637B1 (ko) 2022-07-01
JP2019121858A (ja) 2019-07-22
US20190208141A1 (en) 2019-07-04
GB201821270D0 (en) 2019-02-13
CN109981977A (zh) 2019-07-05
JP7043255B2 (ja) 2022-03-29
GB2571611A (en) 2019-09-04
US10893216B2 (en) 2021-01-12
CN109981977B (zh) 2021-12-07
DE102018133322A1 (de) 2019-07-04
GB2571611B (en) 2021-04-21

Similar Documents

Publication Publication Date Title
KR102415637B1 (ko) 전자기기 및 그 제어 방법
US10893217B2 (en) Electronic apparatus and method for clipping a range out of a wide field view image
CN110691187B (zh) 电子装置、电子装置的控制方法和计算机可读介质
CN111385470B (zh) 电子设备、电子设备的控制方法和计算机可读介质
US11295530B2 (en) Electronic apparatus for playing back a virtual reality video image and control method therefor
JP7094815B2 (ja) 表示制御装置、表示制御装置の制御方法、プログラム、記憶媒体
KR102477993B1 (ko) 표시 제어장치, 촬상 장치, 제어 방법 및 컴퓨터 판독 가능한 매체
US11079898B2 (en) Electronic device for controlling display of VR image, control method of electronic device, and non-transitory computer readable medium
JP2021174317A (ja) 電子機器及びその制御方法
US11380075B2 (en) Electronic apparatus for playing back a virtual reality video image and control method therefor
JP2021069045A (ja) 表示制御装置、表示制御方法、プログラムおよび記憶媒体
CN110708459B (zh) 显示控制设备、显示控制方法和计算机可读介质
US20240176411A1 (en) Electronic device and method for controlling electronic device
CN110881102B (zh) 摄像设备、摄像设备的控制方法和计算机可读介质
CN118075440A (zh) 电子装置及其控制方法和计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant