KR102405171B1 - 촬상장치 및 그 제어방법 - Google Patents

촬상장치 및 그 제어방법 Download PDF

Info

Publication number
KR102405171B1
KR102405171B1 KR1020207010743A KR20207010743A KR102405171B1 KR 102405171 B1 KR102405171 B1 KR 102405171B1 KR 1020207010743 A KR1020207010743 A KR 1020207010743A KR 20207010743 A KR20207010743 A KR 20207010743A KR 102405171 B1 KR102405171 B1 KR 102405171B1
Authority
KR
South Korea
Prior art keywords
image
unit
automatic
user
processing
Prior art date
Application number
KR1020207010743A
Other languages
English (en)
Other versions
KR20200049864A (ko
Inventor
노부시게 와카마츠
신노스케 오사와
료타 오가와
유키 츠이히지
유스케 시미즈
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Priority to KR1020227018268A priority Critical patent/KR102475999B1/ko
Priority claimed from PCT/JP2018/034818 external-priority patent/WO2019065454A1/ja
Publication of KR20200049864A publication Critical patent/KR20200049864A/ko
Application granted granted Critical
Publication of KR102405171B1 publication Critical patent/KR102405171B1/ko

Links

Images

Classifications

    • H04N5/23216—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N5/2252—
    • H04N5/2253—
    • H04N5/2254—
    • H04N5/2259—
    • H04N5/23218—
    • H04N5/23229—
    • H04N5/23245—
    • H04N5/23296—
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0046—Movement of one or more optical elements for zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Accessories Of Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Exposure Control For Cameras (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

촬영 화상에 관한 데이터에 근거하여, 촬영 처리를 변경하는 촬상장치로서, 상기 촬영 처리를 변경할 때, 자동으로 처리된 촬영 화상에 있어서의 데이터보다도, 유저에 의한 지시가 행해진 촬영 화상에 있어서의 데이터의 가중을 크게 해서 변경을 하는 것을 특징으로 한다.

Description

촬상장치 및 그 제어방법
본 발명은, 촬상장치 및 그 제어방법에 관한 것이다.
카메라 등의 촬상장치에 의한 정지화상·동화상 촬영에 있어서는, 유저가 파인더 등을 통해 촬영 대상을 결정하고, 촬영 상황을 스스로 확인해서 촬영 화상의 프레이밍을 조정함으로써, 화상을 촬영하는 것이 통상이다. 이러한 촬상장치에서는, 유저의 조작 미스를 검지해서 유저에게 통지하거나, 외부 환경의 검지를 행하여, 촬영에 적합하지 않을 경우에 유저에게 통지하는 기능이 구비되어 있다. 또한, 촬영에 적합한 상태가 되도록 카메라를 제어하는 메카니즘이 종래부터 존재하고 있다.
이러한 유저의 조작에 의해 촬영을 실행하는 촬상장치에 대하여, 유저가 촬영 지시를 내리지 않고 정기적 및 계속적으로 촬영을 행하는 라이프 로그 카메라가 존재한다(일본국 특표 2016-536868호 공보). 라이프 로그 카메라는, 스트랩 등으로 유저의 신체에 장착된 상태에서 사용되고, 유저가 일상생활에서 보는 광경을 일정 시간 간격으로 영상으로서 기록하는 것이다. 라이프 로그 카메라에 의한 촬영은, 유저가 셔터를 누르는 것 등의 의도한 타이밍에서 촬영하는 것이 아니고, 일정한 시간 간격으로 촬영을 행하기 때문에, 평소 촬영하지 않는 것 같은 갑작스러운 순간을 영상으로서 남길 수 있다.
그렇지만, 라이프 로그 카메라를 유저가 몸에 부착힌 상태에 있어서, 정기적으로 자동촬영을 행했을 경우, 유저가 원하지 않는 영상이 취득되어, 정말로 얻고 싶은 순간의 영상을 취득할 수 없는 경우가 있었다.
본 발명은 전술한 과제를 감안하여 이루어진 것으로서, 그 목적은, 유저가 특별한 조작을 행하지 않고, 유저가 원하는 영상을 취득하는 것이 가능한 촬상장치를 제공하는 것이다.
본 발명의 기술적 특징으로서, 촬상장치의 제어방법으로서, 촬영 유닛에 의해 촬영된 촬영 화상에 관한 데이터에 근거하여 상기 촬영 유닛의 자동 촬영 처리를 변경하는 변경 단계를 포함하고, 상기 변경 단계에서는, 상기 자동 촬영 처리를 변경할 때, 자동으로 처리된 촬영 화상에 있어서의 데이터보다도, 유저로부터의 지시에 근거한 촬영 화상에 있어서의 데이터에 대해 가중을 크게 하는 것을 특징으로 한다.
도1a는 촬상장치를 모식적으로 도시한 도면이다.
도1b는 피치 방향, 요 방향, 롤 방향을 설명하는 도면이다.
도2는 촬상장치의 구성을 도시한 도면이다.
도3은 촬상장치와 외부 기기와의 구성을 도시한 도면이다.
도4는 외부 기기의 구성을 도시한 도면이다.
도5는 촬상장치와 외부 기기와의 구성을 도시한 도면이다.
도6은 외부 기기의 구성을 도시한 도면이다.
도7은 제1제어부를 설명하는 흐름도다.
도8은 제2제어부를 설명하는 흐름도다.
도9는 촬영 모드 처리를 설명하는 흐름도다.
도10은 자동 편집 모드 판정을 설명하는 흐름도다.
도11은 자동 편집 처리를 설명하는 흐름도다.
도12는 뉴럴 네트워크를 설명하는 도면이다.
도13a는 촬상장치의 위치를 중심으로 하여, 전방위에서 에어리어 분할을 행하는 예(틸트 방향, 팬 방향 각각 22.5도인 경우)을 설명하기 위한 도면이다.
도13b는 촬상장치의 위치를 중심으로 하여, 전방위에서 에어리어 분할을 행하는 예(틸트 각도가 45도 이상인 경우)을 설명하기 위한 도면이다.
도13c는 촬영 화각 내에서의 에어리어 분할된 예를 설명하기 위한 도면이다.
도13d는 촬상되고 있는 화상의 화각 에어리어의 화상예를 설명하기 위한 도면이다.
도14는 학습 모드 판정을 설명하는 흐름도다.
도15는 학습 처리를 설명하는 흐름도다.
도16은 본 실시형태에 따른 표시 처리를 설명하는 도면이다.
도17은 경통 회전 구동부의 구성을 도시한 도면이다.
도18은 화상 위의 피사체의 목표 위치와 실제 위치를 설명하는 도면이다.
도19는 촬영 방향 변경 조작 검출을 설명하는 흐름도다.
도20은 촬영 방향 변경 조작 검출을 모식적으로 도시한 도면이다.
도21a는 시간 ta의 타이밍에서 촬상한 화상을 도시한 도면이다.
도21b는 시간 tb의 타이밍에서 유저가 고정부(103)에 대해 경통(102)을 우측 방향으로 회전시켰을 때에 촬상한 화상을 도시한 도면이다.
도21c는 시간 tc에서 보상기(1702)의 제어 출력을 OFF한 상태에서 유저의 촬영 방향 변경 조작에 의해 새로운 피사체의 부근까지 팬 축을 회전시켜서 목표가 되는 피사체가 화각에 들어왔을 때의 화상을 도시한 도면이다.
도21d는 시간 t4의 타이밍에서 보상기(1702)의 제어 출력을 ON한 상태에서 촬영 방향 변경후의 새로운 피사체를 추미하여, 촬상한 화상을 도시한 도면이다.
도22는 촬영 방향 변경 조작 팬의 제어 출력(2201), 위치 편차(2202), 이동 속도(2203)의 시간 변화를 나타낸 도면이다.
도23은 유저 조작에 의해 촬상장치의 촬영 방향을 변경했을 때의 장치 흔들림 검출부(209)의 가속도 센서의 출력 변화를 도시한 도면이다.
도24는 음성 수동 촬영 판정 처리를 설명하는 흐름도다.
도25는 음향 방향 검출값을 히스토그램 처리한 결과를 도시한 도면이다.
도26은 스마트 디바이스(301)에 피사체가 등록된 것을 통지하는 것을 설명하는 도면이다.
도27은 탭 검출에 의한 웨이크업의 경우의 자동 촬영 처리를 설명하는 흐름도다.
도28은 음향 검출에 의한 웨이크업의 경우의 자동 촬영 처리를 설명하는 흐름도다.
도29는 파일 자동 삭제 모드의 처리를 설명하는 흐름도다.
도30은 핸드헬드 조작 어태치먼트의 예를 나타낸 것이다.
도31은 유저가 임의의 피사체(5011)에 촬상장치를 향하게 하여 촬영하는 씬을 설명하는 도면이다.
도32는 촬상장치(101)과는 다른 카메라(3201)의 악세사리 슈(3202)에 기계적으로 부착 가능한 구성의 예를 나타낸 것이다.
도33은 촬상장치(101)와 다른 카메라(3201)가 접속했을 경우의 촬상장치(101)의 처리를 설명하는 흐름도다.
[제1실시형태]
<촬상장치의 구성>
도 1은, 제1실시형태의 촬상장치를 모식적으로 도시한 도면이다.
도1a에 나타내는 촬상장치(101)은, 전원 스위치의 조작을 행할 수 있는 조작부재(이후, 전원 버튼이라고 하지만, 터치패널에의 탭이나 플릭, 스와이프 등의 조작이어도 된다) 등이 설치되어 있다. 촬상을 행하는 촬영 렌즈 군이나 촬상 소자를 포함하는 하우징인 경통(102)은, 촬상장치(101)에 부착되고, 경통(102)을 고정부(103)에 대해 회전 구동할 수 있는 회전 기구를 설치하고 있다. 틸트 회전 유닛(104)은, 경통(102)을 도 1b에 나타내는 피치 방향으로 회전할 수 있는 모터 구동기구이며, 팬 회전 유닛(105)은, 경통(102)을 요 방향으로 회전할 수 있는 모터 구동기구다. 따라서, 경통(102)은, 1축 이상의 방향으로 회전가능하다. 이때, 도 1b은, 고정부(103) 위치에서의 축 정의이다. 각속도계(106)과 가속도계(107)은 함께, 촬상장치(101)의 고정부(103)에 실장되어 있다. 그리고, 각속도계(106)와 가속도계(107)에 근거하여, 촬상장치(101)의 진동을 검출하고, 틸트 회전 유닛과 팬 회전 유닛을 검출한 흔들림 각도에 근거하여 회전 구동한다. 이에 따라, 가동부인 경통(102)의 흔들림을 보정하거나, 기울기를 보정하는 구성으로 되어 있다.
도 2은, 본 실시형태의 촬상장치의 구성을 나타내는 블록도다.
도 2에 있어서, 제1제어부(223)은, 프로세서(예를 들면, CPU, GPU, 마이크로프로세서, MPU 등), 메모리(예를 들면m DRAM, SRAM 등)로 이루어진다. 이것들은, 각종 처리를 실행해서 촬상장치(101)의 각 블록을 제어하거나, 각 블록 사이에서의 데이터 전송을 제어한다. 불휘발성 메모리(EEPROM)(216)은, 전기적으로 소거·기록가능한 메모리이며, 제1제어부(223)의 동작용의 상수, 프로그램 등이 기억된다.
도 2에 있어서, 줌 유닛(201)은, 변배를 행하는 줌 렌즈를 포함한다. 줌 구동 제어부(202)은, 줌 유닛(201)을 구동 제어한다. 포커스 유닛(203)은, 핀트 조정을 행하는 렌즈를 포함한다. 포커스 구동 제어부(204)은, 포커스 유닛(203)을 구동 제어한다.
촬상부(206)에서는, 촬상 소자가 각 렌즈 군을 통해서 입사하는 빛을 받고, 그것의 광량에 따른 전하의 정보를 아날로그 화상 데이터로서 화상처리부(207)에 출력한다. 화상처리부(207)은 A/D변환에 의해 출력된 디지털 화상 데이터에 대하여, 왜곡 보정이나 화이트 밸런스 조정이나 색보간 처리 등의 화상처리를 적용하고, 적용후의 디지털 화상 데이터를 출력한다. 화상처리부(207)로부터 출력된 디지털 화상 데이터는, 화상 기록부(208)에서 JPEG 형식 등의 기록용 포맷으로 변환하고, 메모리(215)나 후술하는 영상 출력부(217)에 송신된다.
경통 회전 구동부(205)은, 틸트 회전 유닛(104), 팬 회전 유닛(105)을 구동해서 경통(102)을 틸트 방향과 팬 방향으로 구동시킨다.
장치 흔들림 검출부(209)은, 예를 들면 촬상장치(101)의 3축 방향의 각속도를 검출하는 각속도계(자이로 센서)(106)와, 장치의 3축 방향의 가속도를 검출하는 가속도계(가속도 센서)(107)이 탑재된다. 장치 흔들림 검출부(209)은, 검출된 신호에 근거하여, 장치의 회전 각도나 장치의 시프트 량 등이 연산된다.
음성 입력부(213)은, 촬상장치(101)에 설치된 마이크로부터 촬상장치(101) 주변의 음성신호를 취득하고, 아날로그 디지털 변환을 해서 음성 처리부(214)에 송신한다. 음성 처리부(214)은, 입력된 디지털 음성신호의 적정화 처리 등의 음성에 관한 처리를 행한다. 그리고, 음성 처리부(214)에서 처리된 음성신호는, 제1제어부(223)에 의해 메모리(215)에 송신된다. 메모리(215)은, 화상처리부(207), 음성 처리부(214)에 의해 얻어진 화상신호 및 음성신호를 일시적으로 기억한다.
화상처리부(207) 및 음성 처리부(214)은, 메모리(215)에 일시적으로 기억된 화상신호나 음성신호를 판독해서 화상신호의 부호화, 음성신호의 부호화 등을 행하여, 압축 화상신호, 압축 음성신호를 생성한다. 제1제어부(223)은, 이들 압축 화상신호, 압축 음성신호를, 기록 재생부(220)에 송신한다.
기록 재생부(220)은, 기록매체(221)에 대해 화상처리부(207) 및 음성 처리부(214)에서 생성된 압축 화상신호, 압축 음성신호, 기타 촬영에 관한 제어 데이터 등을 기록한다. 또한, 음성신호를 압축 부호화하지 않을 경우에는, 제1제어부(223)은, 음성 처리부(214)에 의해 생성된 음성신호와 화상처리부(207)에 의해 생성된 압축 화상신호를, 기록 재생부(220)에 송신하여 기록매체(221)에 기록시킨다.
기록매체(221)은, 촬상장치(101)에 내장된 기록매체이어도, 분리 가능한 기록매체이어도 된다. 기록매체(221)은, 촬상장치(101)에서 생성한 압축 화상신호, 압축 음성신호, 음성신호 등의 각종 데이터를 기록할 수 있고, 불휘발성 메모리(216)보다도 대용량의 매체가 일반적으로 사용된다. 예를 들면, 기록매체(221)은, 하드 디스크, 광디스크, 광자기디스크, CD-R, DVD-R, 자기테이프, 불휘발성의 반도체 메모리, 플래시 메모리, 등의 모든 방식의 기록매체를 포함한다.
기록 재생부(220)은, 기록매체(221)에 기록된 압축 화상신호, 압축 음성신호, 음성신호, 각종 데이터, 프로그램을 판독한다(재생한다). 그리고 판독한 압축 화상신호, 압축 음성신호를, 제1제어부(223)은 화상처리부(207) 및 음성 처리부(214)에 송신한다. 화상처리부(207) 및 음성 처리부(214)은, 압축 화상신호, 압축 음성신호를 일시적으로 메모리(215)에 기억시키고, 소정의 순서로 복호하고, 복호한 신호를 영상 출력부(217), 음성 출력부(218)에 송신한다.
음성 입력부(213)은 복수의 마이크가 촬상장치(101)에 탑재되어 있고, 음성 처리부(214)은 복수의 마이크가 설치된 평면 상의 소리의 방향을 검출할 수 있고, 후술하는 탐색이나 자동 촬영에 사용된다. 더구나, 음성 처리부(214)에서는, 특정한 음성 코맨드를 검출한다. 음성 코맨드는 사전에 등록된 몇개의 코맨드 이외에, 유저가 특정 음성을 촬상장치에 등록할 수 있는 구성으로 하여도 된다. 또한, 음향 씬 인식도 행한다. 음향 씬 인식에서는, 미리 대량의 음성 데이터를 기초로 기계학습에 의해 학습시킨 네트워크에 의해 음향 씬 판정을 행한다. 예를 들면, 「환성이 오르고 있다」, 「박수치고 있다」, 「목소리를 내고 있다」등의 특정 씬을 검출하기 위한 네트워크가 음성 처리부(214)에 설정되어 있다. 그리고, 특정 음향 씬이나 특정 음성 코맨드를 검출하면, 제1제어부(223)나 제2제어부(211)에, 검출 트리거 신호를 출력하는 구성으로 되어 있다.
촬상장치(101)의 메인 시스템 전체를 제어하는 제1제어부(223)와는 별도로 설치된, 제2제어부(211)이 제1제어부(223)의 공급 전원을 제어한다.
제1전원부(210)과 제2전원부(212)은, 제1제어부(223)과 제2제어부(211)을 동작시키기 위한, 전원을 각각 공급한다. 촬상장치(101)에 설치된 전원 버튼의 누름에 의해, 우선 제1제어부(223)과 제2제어부(211)의 양쪽에 전원이 공급되지만, 후술하는 바와 같이, 제1제어부(223)은, 제1전원부(210)에 자신의 전원공급을 OFF하도록 제어된다. 제1제어부(223)이 동작하지 않고 있는 동안에도, 제2제어부(211)은 동작하고 있고, 장치 흔들림 검출부(209)나 음성 처리부(214)로부터의 정보가 입력된다. 제2제어부는 각종 입력 정보를 기초로 하여, 제1제어부(223)을 기동할 것인지 아닌지의 판정 처리를 행하여, 기동 판정되면 제1전원부에 전원 공급 지시를 하는 구성으로 되어 있다.
음성 출력부(218)은, 예를 들면, 촬영시 등에 촬상장치(101)에 내장된 스피커로부터 미리 설정된 음성 패턴을 출력한다.
LED 제어부(224)은, 예를 들면, 촬영시 등에 촬상장치(101)에 설치된 LED를 미리 설정된 점등 점멸 패턴을 제어한다.
영상 출력부(217)은, 예를 들면, 영상 출력 단자로 이루어지고, 접속된 외부 디스플레이 등에 영상을 표시시키기 위해서 화상신호를 송신한다. 또한, 음성 출력부(218), 영상 출력부(217)은, 결합된 1개의 단자, 예를 들면, HDMI(등록상표) (High-Definition Multimedia Interface) 단자와 같은 단자이어도 된다.
통신부(222)은, 촬상장치(101)과 외부 장치 사이에서 통신을 행하는 것으로, 예를 들면, 음성신호, 화상신호, 압축 음성신호, 압축 화상신호 등의 데이터를 송신하거나 수신한다. 또한, 촬영 개시나 종료 코맨드, 팬·틸트나 줌 구동 등의, 촬영에 관한 제어신호를 수신하고, 촬상장치(101)과 상호 통신가능한 외부 기기의 지시로부터 촬상장치(101)을 구동한다. 또한, 촬상장치(101)과 외부 장치 사이에서, 후술하는 학습 처리부(219)에서 처리되는 학습에 관한 각종 파라미터 등의 정보를 송신하거나 수신한다. 통신부(222)은, 예를 들면, 적외선 통신 모듈, Bluetooth(등록상표) 통신 모듈, 무선 LAN 통신 모듈, WirelessUSB, GPS 수신기 등의 무선통신 모듈이다.
<외부 통신 기기와의 구성>
도 3은, 촬상장치(101)과 외부 장치(301)의 무선 통신 시스템의 구성 예를 도시한 도면이다. 촬상장치(101)은 촬영 기능을 갖는 디지털 카메라이며, 외부 장치(301)은 Bluetooth 통신 모듈, 무선 LAN 통신 모듈을 포함하는 스마트 디바이스다.
촬상장치(101)과 스마트 디바이스(301)은, 예를 들면, IEEE 802.11 규격 시리즈에 준거한 무선 LAN에 의한 통신 302과, 예를 들면, Bluetooth Low Energy(이하, 「BLE」로 부른다) 등의, 제어국과 종속국 등의 주종관계를 갖는 통신 303에 의해 통신가능하다. 이때, 무선 LAN 및 BLE는 통신 수법의 일례이며, 각 통신장치는, 2개 이상의 통신기능을 갖고, 예를 들면, 제어국과 종속국의 관계 중에서 통신을 행하는 한쪽의 통신기능에 의해, 다른 쪽의 통신기능의 제어를 행하는 것이 가능하면, 다른 통신 수법이 사용되어도 된다. 단, 일반성을 잃어버리지 않고, 무선 LAN 등의 제1 통신은, BLE 등의 제2 통신보다 고속의 통신이 가능하고, 또한, 제2 통신은, 제1 통신보다도 소비 전력이 적거나 통신 가능거리가 짧거나의 적어도 어느 한개인 것으로 한다.
스마트 디바이스(301)의 구성을, 도 4을 사용하여 설명한다.
스마트 디바이스(301)은, 예를 들면, 무선 LAN용의 무선 LAN 제어부(401), 및, BLE용의 BLE 제어부(402) 이외에, 공중 무선통신용의 공중 회선 제어부(406)을 갖는다. 또한, 스마트 디바이스(301)은, 패킷 송수신부(403)을 더 갖는다. 무선 LAN 제어부(401)은, 무선 LAN의 RF제어, 통신 처리, IEEE 802.11 규격 시리즈에 준거한 무선 LAN에 의한 통신의 각종 제어를 행하는 드라이버나 무선 LAN에 의한 통신에 관한 프로토콜 처리를 행한다. BLE 제어부(402)은, BLE의 RF 제어, 통신 처리, BLE에 의한 통신의 각종 제어를 행하는 드라이버나 BLE에 의한 통신에 관한 프로토콜 처리를 행한다. 공중 회선 제어부(406)은, 공중 무선통신의 RF 제어, 통신 처리, 공중 무선통신의 각종 제어를 행하는 드라이버나 공중 무선통신 관련의 프로토콜 처리를 행한다. 공중 무선통신은 예를 들면, IMT(International Multimedia Telecommunications) 규격이나 LTE(Long Term Evolution) 규격 등에 준거한 것이다. 패킷 송수신부(403)은, 무선 LAN과 BLE에 의한 통신 및 공중 무선통신에 관한 패킷의 송신과 수신의 적어도 어느 한개를 실행하기 위한 처리를 행한다. 이때, 본 예에서는, 스마트 디바이스(301)은, 통신에 있어서 패킷의 송신과 수신의 적어도 어느 한개를 행하는 것으로서 설명하지만, 패킷 교환 이외에, 예를 들면, 회선 교환 등, 다른 통신 형식이 사용되어도 된다.
스마트 디바이스(301)은, 예를 들면, 제어부(411), 기억부(404), GPS 수신부(405), 표시부(407), 조작부(408), 음성 입력 음성 처리부(409), 전원부(410)을 더 갖는다. 제어부(411)은, 예를 들면, 기억부(404)에 기억되는 제어 프로그램을 실행함으로써, 스마트 디바이스(301) 전체를 제어한다. 기억부(404)은, 예를 들면, 제어부(411)이 실행하는 제어 프로그램과, 통신에 필요한 파라미터 등의 각종 정보를 기억한다. 후술하는 각종 동작은, 기억부(404)에 기억된 제어 프로그램을 제어부(411)이 실행함으로써, 실현된다.
전원부(410)은 스마트 디바이스(301)에 전원을 공급한다. 표시부(407)은, 예를 들면, LCD나 LED와 같이 시각으로 인지가능한 정보의 출력, 또는 스피커 등의 음 출력이 가능한 기능을 갖고, 각종 정보의 표시를 행한다. 조작부(408)은, 예를 들면, 유저에 의한 스마트 디바이스(301)의 조작을 접수하는 버튼 등이다. 이때, 표시부(407) 및 조작부(408)은, 예를 들면, 터치패널 등의 공통되는 부재로 구성되어도 된다.
음성 입력 음성 처리부(409)은, 예를 들면, 스마트 디바이스(301)에 내장된 범용적인 마이크로부터, 유저가 내는 음성을 취득하고, 음성 인식 처리에 의해, 유저의 조작 명령을 취득하는 구성으로 하여도 된다.
또한, 스마트 디바이스 내의 전용의 어플리케이션을 거쳐, 유저의 발음에 의해 음성 코맨드를 취득한다. 그리고, 무선 LAN에 의한 통신 302을 거쳐, 촬상장치(101)의 음성 처리부(214)에 특정 음성 코맨드 인식시키기 위한 특정 음성 코맨드로서 등록할 수도 있다.
GPS(Global positioning system) 수신부(405)는, 위성으로부터 통지되는 GPS 신호를 수신하고, GPS 신호를 해석하여, 스마트 디바이스(301)의 현재 위치(경도·위도 정보)을 추정한다. 혹은, 위치 추정은, WPS(Wi-Fi Positioning System) 등을 이용하여, 주위에 존재하는 무선 네트워크의 정보에 근거하여, 스마트 디바이스(301)의 현재 위치를 추정하도록 하여도 된다. 취득한 현재의 GPS 위치 정보가 미리 사전에 설정되어 있는 위치 범위(소정 반경의 범위 이내)에 위치하고 있을 경우에, BLE 제어부(402)을 거쳐 촬상장치(101)에 이동 정보를 통지하고, 후술하는 자동 촬영이나 자동 편집을 위한 파라미터로서 사용한다. 또한, GPS 위치 정보에 소정 이상의 위치 변화가 있었을 경우에, BLE 제어부(402)을 거쳐 촬상장치(101)에 이동 정보를 통지하고, 후술하는 자동 촬영이나 자동 편집을 위한 파라미터로서 사용한다.
상기한 바와 같이 스마트 디바이스(301)는, 무선 LAN 제어부(401), 및, BLE 제어부(402)을 사용한 통신에 의해, 촬상장치(101)과 데이터의 교환을 행한다. 예를 들면, 음성신호, 화상신호, 압축 음성신호, 압축 화상신호 등의 데이터를 송신하거나 수신한다. 또한, 스마트 디바이스로부터 촬상장치(101)의 촬영 등의 조작 지시이거나, 음성 코맨드 등록 데이터 송신이나, GPS 위치 정보에 근거한 소정 위치 검출 통지나 장소 이동 통지를 행한다. 또한, 스마트 디바이스 내의 전용의 어플리케이션을 거친 학습용 데이터의 송수신도 행한다. 이때, 외부 장치(301)은 스마트 디바이스(301)에 한정되지 않는다. 예를 들면, 표시부(407)나 조작부(408) 등을 생략하고, 음성 입력에 특화된 장치이어도 된다. 이 장치에서는, 전술한 마이크로부터, 유저가 낸 음성을 취득하고, 음성 인식 처리에 의해, 유저의 조작 명령을 취득하여, 촬상장치(101)에게 통지한다. 이 이외에, 이 장치에서는, 음성 인식과, 클라우드와의 통신기능, 스피커를 이용한 뉴스의 소리내어 읽기 기능을 가져도 된다. 또한, 검색 엔진을 사용한 조사한 것의 음 출력이나, 대화 시스템의 기능을 가져도 된다.
<악세사리류의 구성>
도 5은, 촬상장치(101)와 통신가능한 외부 장치(501)의 구성 예를 도시한 도면이다. 촬상장치(101)은 촬영 기능을 갖는 디지털 카메라이며, 외부 장치(501)은, 예를 들면, Bluetooth 통신 모듈등에 의해 촬상장치(101)와 통신가능한 각종 센싱부를 포함하는 웨어러블 디바이스다.
웨어러블 디바이스(501)에 있어서, 예를 들면, 유저의 팔 등에 장착할 수 있도록 하는 구성으로 되어 있고, 소정의 주기로 유저의 맥박, 심박, 혈류 등의 생체정보를 검출하는 센서나 유저의 운동 상태를 검출할 수 있는 가속도 센서 등이 탑재되어 있다.
생체정보 검출부(502)은, 예를 들면, 맥박을 검출하는 맥박 센서, 심박을 검출하는 심박 센서, 혈류를 검출하는 혈류 센서, 도전성 고분자에 의한 피부의 접촉에 의해 전위의 변화를 검출한 것을 검지하는 센서를 포함한다. 본 실시형태에서는, 생체정보 검출부(502)로서 심박 센서를 사용하여 설명한다. 심박 센서는, 예를 들면, LED 등을 사용해서 피부에 적외광을 조사하고, 신체 조직을 투과한 적외광을 수광 센서에서 검출해서 신호 처리함으로써 유저의 심박을 검출한다. 생체정보 검출부(502)은, 검출한 생체정보를 신호로서, 후술하는 제어부(607)에 출력한다.
유저의 운동 상태를 검출하는 흔들림 검출부(503)은, 예를 들면, 가속도 센서나 자이로 센서가 탑재되어 있고, 가속도의 정보에 근거해 유저가 이동하고 있는지 어떤지와, 팔을 휘둘러서 액션을 하고 있는지 아닌지 등의 모션을 검출할 수 있다.
또한, 유저에 의한 웨어러블 디바이스(501)의 조작을 접수하는 조작부(505)나, LCD나 LED와 같이 시각으로 인지가능한 정보를 출력하는 표시부(504)이 탑재된다.
웨어러블 디바이스(501)의 구성을, 도 6을 사용하여 설명한다.
웨어러블 디바이스(501)은, 예를 들면, 제어부(607), 통신부(601), 생체정보 검출부(502), 흔들림 검출부(503), 표시부(504), 조작부(505), 전원부(606), 기억부(608)을 갖는다.
제어부(607)은, 예를 들면, 기억부(608)에 기억되는 제어 프로그램을 실행함으로써, 웨어러블 디바이스(501) 전체를 제어한다. 기억부(608)은, 예를 들면, 제어부(607)이 실행하는 제어 프로그램과, 통신에 필요한 파라미터 등의 각종 정보를 기억한다. 후술하는 각종 동작은, 예를 들면, 기억부(608)에 기억된 제어 프로그램을 제어부(607)이 실행함으로써, 실현된다.
전원부(606)은 웨어러블 디바이스(501)에 전원을 공급한다. 표시부(504)은, 예를 들면, LCD나 LED와 같이 시각으로 인지가능한 정보의 출력, 또는 스피커 등의 음 출력이 가능한 기능을 갖고, 각종 정보의 표시를 행한다. 조작부(505)은, 예를 들면, 유저에 의한 웨어러블 디바이스(501)의 조작을 접수하는 버튼 등이다. 이때, 표시부(504) 및 조작부(505)은, 예를 들면, 터치패널 등의 공통되는 부재로 구성되어도 된다.
또한, 조작부는, 예를 들면, 웨어러블 디바이스(501)에 내장된 범용적인 마이크로부터, 유저가 낸 음성을 취득하고, 음성처리에 의해 유저가 낸 음성을 취득하고, 음성 인식 처리에 의해, 유저의 조작 명령을 취득하는 구성으로 하여도 된다.
생체정보 검출부(502)나 흔들림 검출부(503)로부터 제어부(607)에서 처리된 각종 검출 정보는, 통신부(601)에 의해, 촬상장치(101)에 검출 정보를 송신한다.
예를 들면, 유저의 심박의 변화를 검출한 타이밍에서 검출 정보를 촬상장치(101)에 송신하거나, 보행 이동/주행 이동/멈추어 서기 등의 이동 상태의 변화의 타이밍에서 검출 정보를 송신한다. 또한, 예를 들면, 미리 설정된 팔의 흔듦의 모션을 검출한 타이밍에서 검출 정보를 송신하거나, 미리 설정된 거리의 이동을 검출한 타이밍에서 검출 정보를 송신한다.
도30은, 핸드헬드 조작 어태치먼트의 예를 나타낸 것이다.
촬상장치 본체(101)에는 예를 들면, 촬영 지시를 행하는 셔터 버튼 등의 조작부재를 설치하지 않고, 어태치먼트에 설치된 각 조작부재에 의해 촬상장치(101)을 조작할 수 있는 구성을 취해도 된다.
도31과 같이, 유저가 임의의 피사체(5011)에 카메라를 향해서 촬영하고 싶을 경우가 있다. 그때, 카메라의 팬·틸트가 자동적으로 움직여 버리면, 유저가 촬영하고 싶은 피사체에 카메라를 향하게 하는 동작도 방해를 받아 버릴 가능성이 있다. 따라서, 핸드헬드 조작 어태치먼트(5001) 내부에, 카메라에 의존하는 오토 설정의 모드와, 유저가 수동 카메라 조작을 행할 수 있는 모드를 전환할 수 있는 전환 스위치(5005)을 설치해도 된다. 그 경우, 전환 스위치(5005)이 수동 카메라 조작의 모드로 설정되어 있을 경우, 카메라 흔들림 보정을 위한 팬·틸트 구동은 행하지만, 피사체 탐색을 위해 큰 팬·틸트 각도 변경을 행하는 일은 없다.
또는, 전환 스위치(5005)을 설치하지 않아도, 어태치먼트(5001)이 촬상장치(101)과 접속되었는지 아닌지를 검출할 수 있는 어태치먼트 검출부(5002)을 설치해도 된다. 이 경우, 어태치먼트가 장착되어 있는 경우에는, 카메라 흔들림 보정을 위한 팬·틸트 구동은 행하지만, 피사체 탐색을 위해 큰 팬·틸트 각도 변경을 행하는 것은 하지 않도록 하여도 된다. 어태치먼트 장착의 검출은, 전압의 변화나 ID 등 기존의 방법으로 된다.
전환 스위치(5005), 또는 어태치먼트 검출부(5002)에 의해 수동 카메라 조작 모드로 되어있을 때, 피사체 탐색을 위한 큰 팬·틸트 각도 변경을 행하는 것은 하지 않지만, 카메라 흔들림 보정을 위한 팬·틸트 구동은 행한다. 여기에서, 카메라 광축을 중력 방향에 대해 일정 방향으로 유지하도록 하는 기울기 보정도 행할 수는 있지만, 유저 조작의 방해를 해 버릴 가능성이 있다. 따라서, 카메라 흔들림 보정은 저주파(예를 들면, 0.1Hz 이하의 주파수 영역)을 커트하고 고주파 성분만의 보정을 행한다.
피사체 탐색을 위한 팬·틸트 구동을 행하지 않는 경우에도, 팬·틸트의 방향을 유저가 수동으로 변경하고 싶을 경우가 있다. 도31와 같이 해서 촬상장치(101)을 피사체(5101)을 향해서 촬영하는 것과 같을 경우, 유저는 촬상장치(101)의 틸트 각도를 촬상장치(101)의 상측 방향으로 광축이 향하도록 조작해서 촬영을 행한다. 그 경우, 핸드헬드 조작 어태치먼트(5001) 내부에, 팬·틸트 방향을 변경할 수 있는 조작부재(5003)을 설치해도 된다. 조작부재(5003)은 XY 좌표에서 자유롭게 평행 이동시킬 수 있게 하고, 조작한 방향에 따라, 팬·틸트를 움직이게 하는 방법을 취해도 된다. 예를 들면, 조작부재를 상측 방향으로 이동시켰을 경우, 틸트를 카메라 상측 방향으로 구동하고, 조작부재를 하측 방향으로 이동시켰을 경우, 틸트를 카메라 하측 방향으로 구동하고, 조작부재를 좌우로 이동시키면 팬이 방향에 맞춰서 구동시킨다.
또한, 유저가 임의의 타이밍에서 촬영을 행할 수 있는 셔터 버튼(5004)을 설치해도 된다. 또한, 촬영 모드(예를 들면, 정지화상 촬영 모드/동화상 촬영 모드/파노라마 촬영 모드/타임 랩스 촬영 모드 등)을 전환할 수 있는 스위치(5006)을 설치해도 된다.
또한, 핸드헬드 조작 어태치먼트(5001)로부터, 촬상장치(101)에 조작 지시를 내리는 방법은, 비접촉 통신 수단을 사용해도 된다.
촬상장치(101)과 핸드헬드 조작 어태치먼트(5001)에 각각 설치한 전기신호를 접속하는 커넥터에 의해, 조작 지시를 행할 수도 있지만, 촬상장치(101)에 전지가 내포되어 있을 경우, 핸드헬드 조작 어태치먼트에 전지용의 커넥터가 필요없다. 그 때문에, 릴리즈 등의 조작용으로 굳이, 커넥터를 설치하면, 접속 부분에서의 방적 기능을 부가할 필요와 여러가지의 부품이 필요하게 되어, 장치의 비대화와 코스트의 증대로 되어 버린다.
비접촉 통신 수단은, Bluetooth Low Energy(BLE)을 사용해도 되고, NEAR FIELD COMMUNICATION(NFC) BLE를 사용해도 되고, 다른 방법이어도 된다.
또한, 핸드헬드 조작 어태치먼트(5001)의 전파 발생 동력은, 전원의 용량이 작고 소형의 것이면 되고, 예를 들면, 버튼 전지나 셔터 버튼(5004)을 누르는 힘으로 미량의 전력을 발생시키는 수단을 취해도 된다.
이렇게, 촬상장치와는 별체의, 촬상장치에 릴리즈 지시를 행하는 조작부재와, 촬상장치의 회전 기구를 구동하는 지시를 행하는 조작부재를 갖는 어태치먼트를 촬상장치에 장착할 수 있는 구성으로 해도 된다. 또한, 촬영 유닛의 정지화상 모드, 동화상 모드, 파노라마 모드, 타임 랩스 모드의 어느 한개 2개 이상을 설정할 수 있는 촬상 모드 변경 지시를 행하는 조작부재를 갖는 어태치먼트를 촬상장치에 장착할 수 있는 구성으로 해도 된다. 어태치먼트로부터 촬상장치에 대한 조작부재에 의한 조작 지시는, 비접촉 통신 수단에 의해 통지한다. 또한, 촬상장치는, 촬상장치에 장착되는 어태치먼트 정보를 검출하고, 어태치먼트 정보에 근거하여, 흔들림 보정수단의 제어 주파수 대역을 변경해도 된다. 이 어태치먼트 정보의 검출에 의해, 중력방향을 기준으로 한 일정 방향의 각도를 유지하는 기울기 보정을 행할 것인지 아닌지를 변경할 수 있다. 어태치먼트 정보의 검출에 의해, 흔들림 보정의 제어 대역의 저주파측을 커트해도 된다.
도32은, 촬상장치(101)과는 다른 카메라(3201)의 악세사리 슈(3202)에 기계적으로 부착 가능한 구성의 예를 나타낸 것이다.
도32에 나타낸 것과 같이 악세사리 슈에 부착한 경우, 촬상장치(101)과 카메라(3201)의 부착 방향 및, 카메라(3201)의 광축 방향과 촬상장치(101)의 광축 방향의 각도차가 기지가 된다. 따라서, 카메라(3201)과 촬상장치(101)을 협조해서 제어하는 것이 용이하게 된다.
촬상장치(101)과 카메라(3201) 사이에서의 정보 통지는, 악세사리 슈와 접속하는 장소에 전기적인 접점을 설치해 두고, 촬상장치(101)과 카메라(3201)의 정보를 통지하는 메카니즘으로 하면 된다. 또한, 촬상장치(101)과 카메라(3201)를 예를 들면, USB 등의 통신 케이블을 거쳐 정보를 통지하는 메카니즘으로 하여도 된다. 또한, 무선통신(BLE, NFC 등)을 사용해도 되고, 다른 방법이어도 된다.
촬상장치(101)과 카메라(3201)의 연계에 대해서는, 후술한다.
<촬상동작의 시퀀스>
도7은, 본 실시형태에 있어서의 촬상장치(101)의 제1제어부(223)이 담당하는 동작의 예를 설명하는 흐름도다.
유저가 촬상장치(101)에 설치된 전원 버튼을 조작하면, 제1전원부(210)에 의해 전원 공급부로부터, 제1제어부(223) 및 촬상장치(101)의 각 블록에 전원을 공급시킨다.
또한, 마찬가지로 제2제어부(211)에 있어서도 제2전원부(212)에 의해 전원 공급부로부터, 제2제어부에 전원이 공급되지만, 제2제어부의 동작의 상세에 대해서는 후술하는 도 8의 흐름도를 사용하여 설명한다.
전원이 공급되면, 도 7의 처리가 스타트한다. 스텝 701에서는, 기동 조건의 판독이 행해진다. 본 실시형태에 있어서는, 기동 조건은 이하이다.
(1) 전원 버튼이 수동으로 눌러져 전원 기동
(2) 외부 기기(예를 들면, 301)로부터 외부 통신(예를 들면, BL E통신)으로부터의 지시로 전원 기동
(3) Sub 프로세서(제2제어부211)로부터, 전원 기동
여기에서, (3)의 Sub 프로세서로부터 전원 기동의 경우에는, Sub 프로세서 내에서 연산된 기동 조건이 판독되게 도지만, 상세한 것은 후술하는 도 8에서 설명한다.
또한, 여기에서 판독된 기동 조건은, 피사체 탐색이나 자동 촬영시의 1개의 파라미터 요소로서 사용되지만, 후술해서 설명한다. 기동 조건 판독이 종료하면 스텝 702로 진행한다.
스텝 702에서는, 각종 센서의 판독이 행해진다. 여기에서 판독되는 센서는, 장치 흔들림 검출부(209)로부터의 자이로 센서나 가속도 센서 등의 진동 검출하는 센서이다. 또한, 틸트 회전 유닛(104)이나 팬 회전 유닛(105)의 회전 위치이다. 또한, 음성 처리부(214)에서 검출되는 음성 레벨이나 특정 음성 인식의 검출 트리거나 음향 방향 검출이다.
또한, 도 1 내지 도 6에는 도시하고 있지 않지만, 환경정보를 검출하는 센서에서도 정보를 취득한다.
예를 들면, 소정의 주기로 촬상장치(101)의 주변의 온도를 검출하는 온도 센서나, 촬상장치(101)의 주변의 기압의 변화를 검출하는 기압 센서가 있다. 또한, 촬상장치(101)의 주변의 밝기를 검출하는 조도 센서나, 촬상장치(101)의 주변의 습도를 검출하는 습도 센서나, 촬상장치(101)의 주변의 자외선 량을 검출하는 UV 센서 등을 구비해도 된다. 검출한 온도정보나 기압정보나 밝기 정보나 습도 정보나 UV 정보 이외에, 검출한 각종 정보로부터 소정 시간 간격에서의 변화율을 산출한 온도 변화량이나 기압 변화량이나 밝기 변화량이나 습도 변화량이나 자외선 변화량 등을 후술하는 자동 촬영 등의 판정에 사용한다.
스텝 702에서 각종 센서 판독이 행해지면 스텝 703로 진행한다.
스텝 703에서는, 외부 기기로부터의 통신이 지시되고 있는지를 검출하고, 통신 지시가 있었을 경우, 외부 기기와의 통신을 행한다.
예를 들면, 스마트 디바이스(301)로부터, 무선 LAN이나 BLE를 거친, 리모트 조작이거나, 음성신호, 화상신호, 압축 음성신호, 압축 화상신호 등의 데이터를 송신하거나 수신한다. 또한, 스마트 디바이스(301)로부터의 촬상장치(101)의 촬영 등의 조작 지시나, 음성 코맨드 등록 데이터 송신이나, GPS 위치 정보에 근거한 소정 위치 검출 통지나 장소 이동 통지나 학습용 데이터의 송수신의 지시가 있는지 아닌지의 판독을 행한다.
또한, 예를 들면, 웨어러블 디바이스(501)로부터, 유저의 운동 정보, 팔의 액션 정보, 심박 등의 생체정보의 갱신이 있을 경우, BLE를 거친 정보의 판독을 행한다. 또한, 전술한 환경정보를 검출하는 각종 센서는, 촬상장치(101)에 탑재해도 되지만, 스마트 디바이스(301) 또는 웨어러블 디바이스(501)에 탑재하고 있어도 되고, 그 경우, BLE를 거친 환경정보의 판독도 행한다. 스텝 703에서 외부 기기로부터의 통신 판독이 행해지면, 스텝 S704로 진행한다.
스텝 704에서는, 모드 설정 판정이 행해진다. 스텝 704에서 설정되는 모드는, 이하 중에서 판정되어 선택된다.
(1) 자동 촬영 모드
[모드 판정 조건]
후술하는 학습에 의해 설정된 각 검출 정보(화상, 음향, 시간, 진동, 장소, 신체의 변화, 환경 변화)나, 자동 촬영 모드로 이행한 후의 경과 시간이나, 과거의 촬영 정보 등으로부터, 자동 촬영을 행해야 하다고 판정되면, 자동 촬영 모드로 설정된다.
[모드내 처리]
자동 촬영 모드 처리(스텝 710)에서는, 각 검출 정보(화상, 음향, 시간, 진동, 장소, 몸의 변화, 환경 변화)에 근거하여, 팬·틸트나 줌을 구동해서 피사체를 자동 탐색한다. 그리고, 유저의 원하는 촬영을 행할 수 있는 타이밍이라고 판정되면, 정지화상 1매 촬영, 정지화상 연속 촬영, 동화상 촬영, 파노라마 촬영, 타임 랩스 촬영 등 다양한 촬영 방법 중에서, 촬영 방법의 판정 처리가 행해지고, 자동으로 촬영이 행해진다.
(2) 자동 편집 모드
[모드 판정 조건]
전회 자동 편집을 실시한 후의 경과 시간과, 과거의 촬영 화상정보로부터, 자동 편집을 행해야 하다고 판정되면, 자동 편집 모드로 설정된다.
[모드내 처리]
자동 편집 모드 처리(스텝 712)에서는, 학습에 근거한 정지화상이나 동화상의 선발 처리를 행하고, 학습에 근거하여 화상 효과나 편집후 동화상의 시간 등에 의해, 한개의 동화상으로 합친 하이라이트 동화상을 작성하는 자동 편집 처리가 행해진다.
(3) 화상 전송 모드
[모드 판정 조건]
스마트 디바이스 내의 전용의 어플리케이션을 거친 지시에 의해, 화상 자동 전송 모드로 설정되어 있을 경우, 전회 화상 전송을 실시한 후의 경과 시간과 과거의 촬영 화상정보로부터 화상 전송을 행해야 하다고 판정되면, 자동 화상 전송 모드로 설정된다.
[모드내 처리]
화상 자동 전송 모드 처리(스텝 714)에서는, 촬상장치(101)은, 유저가 원할 것 같은 화상을 자동으로 추출하고, 스마트 디바이스(301)에 유저가 원하는 화상을 자동으로 추출하고, 화상 전송이 행해진다. 유저가 원하는 화상 추출은, 후술하는 각 화상에 부가된 유저의 기호를 판정한 스코어에 의해 행한다.
(4) 학습 모드
[모드 판정 조건]
전회 학습 처리를 실시한 후의 경과 시간과, 학습에 사용할 수 있는 화상에 대응된 정보나 학습 데이터의 수 등으로부터, 자동 학습을 행해야 하다고 판정되면, 자동 학습 모드로 설정된다. 또는, 스마트 디바이스(301)로부터의 통신을 거쳐 학습 데이터가 설정되도록 하는 지시가 있었을 경우도 본 모드로 설정된다.
[모드내 처리]
자동 학습 모드 처리(스텝 716)에서는, 유저의 기호에 맞춘 학습을 행한다. 스마트 디바이스(301)에서의 각 조작, 스마트 디바이스(301)로부터의 학습 정보 통지 등의 정보를 기초로 뉴럴 네트워크를 사용하여, 유저의 기호에 맞춘 학습이 행해진다. 스마트 디바이스(301)에서의 각 조작의 정보로서는, 예를 들면, 촬상장치로부터의 화상 취득 정보, 전용 어플리케이션을 거쳐 수동에 의한 편집 지시가 내려진 정보, 촬상장치 내의 화상에 대해 유저가 입력한 판정값 정보가 있다.
또한, 개인 인증의 등록이나 음성 등록, 음향 씬 등록, 일반 물체 인식 등록 등의, 검출에 관한 학습이나, 전술한 저소비 전력 모드의 조건 등의 학습도 동시에 행해진다.
(5) 파일 자동 삭제 모드
[모드 판정 조건]
전회 파일 자동 삭제를 행한 후의 경과 시간과, 화상을 기록하고 있는 불휘발성 메모리(216)의 잔여 용량으로부터, 파일 자동 삭제를 행해야 하다고 판정되면, 파일 자동 삭제 모드로 설정된다.
[모드내 처리]
파일 자동 삭제 모드 처리(스텝 718)에서는, 불휘발성 메모리(216) 내부의 화상 중에서, 각 화상의 태그 정보와 촬영된 일시 등으로부터 자동 삭제될 파일을 지정하여(3개 선택 처리) 삭제한다.
이때, 자동 촬영 모드 처리, 자동 편집 모드 처리, 학습 모드 처리에 관한 상세한 것은, 후술한다.
스텝 705에서는 스텝 704에서 모드 설정 판정이 저소비 전력 모드로 설정되고 있는지 아닌지를 판정한다. 저소비 전력 모드 판정은, 후술하는 「자동 촬영 모드」, 「자동 편집 모드」, 「화상 자동 전송 모드」, 「학습 모드」, 「파일 자동 삭제 모드」 중 어느 것의 모드의 판정 조건이 아닌 경우에는, 저소비 전력 모드가 되도록 판정된다. 판정 처리가 행해지면 스텝 705로 진행한다.
스텝 705에서는, 저소비 전력 모드 조건이라고 판정되면, 스텝 706로 진행한다.
스텝 706에서는, Sub 프로세서(제2제어부(211))에, Sub 프로세서 내에서 판정하는 기동 요인에 관한 각종 파라미터를 (흔들림 검출 판정용 파라미터, 음향 검출용 파라미터, 시간 경과 검출 파라미터)을 통지한다. 각종 파라미터는 후술하는 학습 처리에서, 학습됨으로써 값이 변화한다. 스텝 706의 처리를 종료하면, 스텝 707로 진행하여, Main 프로세서(제1제어부(223))의 전원을 OFF하고, 처리를 종료한다.
한편, 스텝 705에서 저소비 전력 모드가 아니라고 판정되면, 스텝 709로 진행하고, 모드 설정이 자동 촬영 모드인지 아닌지를 판정하여, 자동 촬영 모드이면 스텝 710로 진행하고, 자동 촬영 모드 처리가 행해진다. 처리가 종료하면, 스텝 702로 되돌아가, 처리를 반복한다. 스텝 709에서, 자동 촬영 모드가 아니라고 판정되면, 스텝 711로 진행한다.
스텝 711에서는, 모드 설정이 자동 편집 모드인지 아닌지를 판정하여, 자동 편집 모드이면 스텝 712로 진행하고, 자동 편집 모드 처리가 행해진다. 처리가 종료하면, 스텝 702로 되돌아가, 처리를 반복한다. 스텝 711에서, 자동 편집 모드가 아니라고 판정되면, 스텝 713로 진행한다.
스텝 713에서는, 모드 설정이 화상 자동 전송 모드인지 아닌지를 판정하여, 화상 자동 전송 모드이면 스텝 714로 진행하고, 화상 자동 전송 모드 처리가 행해진다. 처리가 종료하면, 스텝 702로 되돌아가, 처리를 반복한다. 스텝 713에서, 화상 자동 전송 모드가 아니라고 판정되면, 스텝 715로 진행한다.
스텝 715에서는, 모드 설정이 학습 모드인지 아닌지를 판정하여, 학습 모드이면 스텝 716로 진행하고, 학습 모드 처리가 행해진다. 처리가 종료하면, 스텝 702로 되돌아가, 처리를 반복한다. 스텝 715에서, 학습 모드가 아니라고 판정되면, 스텝 717로 진행한다.
스텝 717에서는, 모드 설정이 파일 자동 삭제 모드인지 아닌지를 판정하여, 파일 자동 삭제 모드이면 스텝 718로 진행하고, 파일 자동 삭제 모드 처리가 행해진다. 처리가 종료하면, 스텝 702로 되돌아가, 처리를 반복한다. 스텝 717에서, 파일 자동 삭제 모드가 아니라고 판정되면, 스텝 702로 되돌아가, 처리를 반복한다.
도8은, 본 실시형태에 있어서의 촬상장치(101)의 제2제어부(211)이 담당하는 동작의 예를 설명하는 흐름도다.
유저가 촬상장치(101)에 설치된 전원 버튼을 조작하면, 제1전원부(210)에 의해 전원 공급부로부터 제1제어부(223)에 전원이 공급되는 것과 마찬가지로 제2제어부(211)에 있어서도 제2전원부(212)에 의해 전원 공급부로부터 제2제어부(211)에 전원이 공급된다. 전원이 공급되면, Sub 프로세서(제2제어부(211))이 기동되어, 도 8의 처리가 스타트한다.
스텝 801에서는, 샘플링의 주기가 되는 소정 기간이 경과하였는지 아닌지를 판정한다. 예를 들면, 10msec로 설정되었을 경우, 10msec 주기로, 스텝 802로 진행한다. 소정 기간이 경과하고 있지 않다고 판정되면, Sub 프로세서는 아무것도 처리를 하지 않고 스텝 801로 되돌아가 소정 기간이 경과하는 것을 기다린다.
스텝 802에서는, 학습 정보의 판독이 행해진다. 학습 정보는, 도 7의 스텝 706에서의 Sub 프로세서에 정보통신할 때에, 전송된 정보이며, 예를 들면, 이하의 정보가 판독된다.
(1) 특정 흔들림 검출의 판정 조건
(2) 특정 음향 검출의 판정 조건
(3) 시간 경과 판정의 판정 조건
스텝 802로 학습 정보가 판독되면, 스텝 803로 진행하여, 흔들림 검출값이 취득된다. 흔들림 검출값은, 장치 흔들림 검출부(209)로부터의 자이로 센서나 가속도 센서 등의 진동 검출하는 센서로부터의 출력값이다.
스텝 803에서 흔들려 검출값이 취득되면, 스텝 804로 진행하고, 미리 설정된 흔들림 상태 검출의 처리를 행한다. 여기에서는, 스텝 802에서 판독된 학습 정보에 의해, 판정 처리를 변경한다. 몇가지 예를 설명한다.
(1) 탭 검출
유저가 촬상장치(101)을 예를 들면 손 끝 등으로 두드린 상태(탭 상태)을, 촬상장치(101)에 부착된 가속도 센서의 출력값에서 검출하는 것이 가능하다. 3축의 가속도 센서의 출력을 소정 샘플링으로 특정한 주파수 영역으로 설정한 밴드패스 필터(BPF)에 통과시킴으로써, 탭에 의한 가속도 변화의 신호 영역을 추출할 수 있다. BPF 후의 가속도 신호를 소정 시간 timeA 사이에, 소정 임계값 ThreshA를 초과한 횟수가, 소정 횟수 CountA 인지 아닌지에 의해, 탭 검출을 행한다. 더블 탭의 경우에는, CountA는 2로 설정되고, 트리플 탭의 경우에는, CountA는 3으로 설정된다. 또한, TimeA나 ThreshA에 대해서도, 학습 정보에 의해 변화시킬 수 있다.
(2) 흔들림 상태의 검출
촬상장치(101)의 흔들림 상태를, 촬상장치(101)에 부착된 자이로 센서나 가속도 센서의 출력값에서 검출하는 것이 가능하다. 자이로 센서나 가속도 센서의 출력을 HPF에서 고주파 성분을 커트하고, LPF에서 저주파 성분을 커트한 후, 절대값 변환을 행한다. 산출한 절대값이 소정 시간 timeB 사이에, 소정 임계값 ThreshB을 초과한 횟수가, 소정 횟수 CountB 이상인지 아닌지에 의해, 진동 검출을 행한다. 예를 들면, 촬상장치(101)을 책상 등에 놓은 것과 같은 진동이 작은 상태인지, 웨어러블로 촬상장치(101)을 장착하여 걷고 있는 것 같은 진동이 큰 상태인지를 판정하는 것이 가능하다. 또한, 판정 임계값이나 판정의 카운트 수의 조건을 복수 가짐으로써, 흔들림 레벨에 따른 미세한 흔들림 상태를 검출하는 것도 가능하다.
TimeB나 ThreshB나 CountB에 대해서도, 학습 정보에 의해 변화시킬 수 있다.
상기는 흔들림 검출 센서의 조건 판정에 의한 특정 흔들림 상태 검출의 방법을 설명하였다. 그렇지만, 소정 시간 내에서 샘플링된 흔들림 검출 센서의 데이터로부터, 뉴럴 네트워크를 사용한 흔들림 상태 판정기에 입력함으로써, 학습시킨 뉴럴 네트워크에 의해, 사전에 등록해 둔 특정 흔들림 상태를 검출하는 것도 가능하다. 그 경우, 스텝 802에서의 학습 정보 판독은 뉴럴 네트워크의 가중 파라미터가 된다.
스텝 804에서 특정 흔들림 상태 검출 처리이 행해지면, 스텝 805로 진행하여, 미리 설정된 특정 음향 검출 처리를 행한다. 여기에서는, 스텝 802에서 판독된 학습 정보에 의해, 검출 판정 처리를 변경한다. 몇가지 예를 설명한다.
(1) 특정 음성 코맨드 검출
특정한 음성 코맨드를 검출한다. 음성 코맨드는 사전에 등록된 몇개의 코맨드 이외에, 유저가 특정 음성을 촬상장치에 등록할 수 있다.
(2) 특정 음향 씬 인식
미리 대량의 음성 데이터를 기초로 기계학습에 의해 학습시킨 네트워크에 의해 음향 씬 판정을 행한다. 예를 들면, 「환성이 오르고 있다」, 「박수치고 있다」, 「목소리를 내고 있다」 등의 특정 씬을 검출한다. 검출할 씬은 학습에 따라 변화한다.
(3) 음향 레벨 판정
소정 시간 동안에, 음향 레벨의 크기가 레벨 소정값을 초과하고 있는 시간을 가산하는 것 등의 방법에 의해, 음향 레벨 판정에 의한 검출을 행한다. 소정 시간이나 레벨 소정값의 크기 등이 학습에 의해 변화한다.
(4) 음향 방향 판정
복수의 마이크가 설치된 평면 위의 음향의 방향을 검출할 수 있고, 소정 크기의 음향 레벨에 대하여, 음향의 방향을 검출한다.
음성 처리부(214) 내에서 상기한 판정 처리가 행해지고 있고, 사전에 학습된 각 설정에 의해, 특정 음향 검출이 되었는지를 스텝 805에서 판정한다.
스텝 805에서 특정 음향 검출 처리가 행해지면, 스텝 806로 진행한다. 스텝 806에서는, Main 프로세서(제1제어부(223))은 OFF 상태인지 아닌지를 판정하여, Main 프로세서가 OFF 상태이면, 스텝 807로 진행하고, 미리 설정된 시간 경과 검출 처리를 행한다. 여기에서는, 스텝 802에서 판독된 학습 정보에 의해, 검출 판정 처리를 변경한다. 학습 정보는, 도 7에서 설명한 스텝 706에서의 Sub 프로세서(제2제어부(211))에 정보통신할 때에, 전송된 정보다. Main 프로세서가 ON으로부터 OFF로 천이했을 때부터의 경과 시간이 계측되고 있고, 경과 시간이 파라미터 TimeC 이상이면, 시간 경과로 판정되고, TimeC보다 작으면, 시간 경과로는 판정되지 않는다. TimeC은, 학습 정보에 의해 변화하는 파라미터다.
스텝 807에서 시간 경과 검출 처리이 행해지면, 스텝 808로 진행하여, 저소비 전력 모드 해제 판정이 행해졌는지를 판정한다. 저소비 전력 모드 해제 조건은 이하에 의해 판정된다.
(1) 특정 흔들림 검출의 판정 조건
(2) 특정 음향 검출의 판정 조건
(3) 시간 경과 판정의 판정 조건
각각, 스텝 804에서의 특정 흔들림 상태검출 처리에 의해, 특정 흔들림 검출의 판정 조건에 들어갔는지 아닌지를 판정할 수 있다. 또한, 스텝 805에서의 특정 음향 검출 처리에 의해, 특정 음향 검출의 판정 조건에 들어갔는지 아닌지를 판정할 수 있다. 또한, 스텝 807에서의 시간 경과 검출 처리에 의해, 시간 경과 검출의 판정 조건에 들어갔는지 아닌지를 판정할 수 있다. 따라서, 어느 한 개 이상의 조건에 들어 있으면, 저소비 전력 모드 해제를 행하도록 하는 판정이 행해진다.
스텝 808에서 해제 조건 판정되면, 스텝 809로 진행하여 Main 프로세서의 전원을 ON하고, 스텝 810에서, 저소비 전력 모드 해제로 판정된 조건(진동, 음향, 시간)을 Main 프로세서에게 통지하고, 스텝 801로 되돌아가 처리를 루프한다.
스텝 808에서 어느 해제 조건에도 들어맞지 않고, 저소비 전력 모드 해제 판정이 아니라고 판정되면, 스텝 801로 되돌아가 처리를 루프한다.
스텝 806에서, Main 프로세서가 ON 상태라고 판정되고 있을 경우, 스텝 803 내지 805까지에서 취득한 정보를 Main 프로세서에게 통지하고, 스텝 801로 되돌아가 처리를 루프한다.
본 실시형태에 있어서는, Main 프로세서가 ON 상태에 있어서도 흔들림 검출이나 특정 음향 검출을 Sub 프로세서에서 행하고, 검출 결과를 Main 프로세서에 통지하는 구성으로 하고 있다. 그렇지만, Main 프로세서가 ON인 경우에는, 스텝 803 내지 805의 처리를 행하지 않고, Main 프로세서 내의 처리(도 7의 스텝 702)에서 흔들림 검출이나 특정 음향 검출을 검출하는 구성으로 하여도 된다.
상기한 바와 같이 도 7의 스텝 704 내지 스텝 707나, 도 8의 처리를 행함으로써, 저소비 전력 모드로 이행하는 조건이나 저소비 전력 모드를 해제하는 조건이, 유저의 조작에 근거하여 학습된다. 이에 따라, 촬상장치(101)을 소유하는 유저의 사용의 편리함에 맞춘 촬상동작을 행할 수 있다. 학습의 방법에 대해서는 후술한다.
상기, 흔들림 검출이나 음향 검출이나 시간 경과에 의한 저소비 전력 모드 해제 방법에 대해서 상세히 설명했지만, 환경정보에 의해 저소비 전력 모드 해제를 행해도 된다. 환경정보는 온도나 기압이나 밝기나 습도나 자외선의 절대량이나 변화량이 소정 임계값을 초과하였는지 아닌지로 판정할 수 있고, 후술하는 학습에 의해 임계값을 변화시킬 수도 있다.
또한, 흔들림 검출이나 음향 검출이나 시간 경과의 검출 정보나, 각 환경정보의 절대값나 변화량을 뉴럴 네트워크에 근거한 판단에 의해, 저소비 전력 모드 해제를 판정할 수 있고, 이 판정 처리는, 후술하는 학습에 의해, 판정 조건을 변경할 수 있다.
<자동 촬영 모드 처리>
도 9을 사용하여, 자동 촬영 모드 처리의 상세를 설명한다. 전술한 바와 같이, 이하의 처리는, 본 실시형태에 있어서의 촬상장치(101)의 제1제어부(223)이 제어를 담당한다.
S901에서는, 화상처리부(207)에게 촬상부(206)에서 받아들인 신호를 화상처리시켜, 피사체 인식용의 화상을 생성시킨다.
생성된 화상으로부터는, 인물이나 물체 인식 등의 피사체 인식이 행해진다.
인물을 인식할 경우, 피사체의 얼굴이나 인체를 검출한다. 얼굴 검출 처리에서는, 인물의 얼굴을 판단하기 위한 패턴이 미리 정해져 있고, 촬상된 화상 내에 포함되는 이 패턴에 일치하는 개소를 인물의 얼굴 화상으로서 검출할 수 있다.
또한, 피사체의 얼굴로서의 정확도를 나타내는 신뢰도도 동시에 산출하고, 신뢰도는, 예를 들면, 화상 내에 있어서의 얼굴 영역의 크기나, 얼굴 패턴과의 일치도 등으로부터 산출된다.
물체 인식에 대해서도 마찬가지로, 미리 등록된 패턴에 일치하는 물체를 인식할 수 있다.
또한, 촬상된 화상 내의 색상이나 채도 등의 히스토그램을 사용하는 방법으로 특징 피사체를 추출하는 방법 등도 있다. 이 경우, 촬영 화각 내에 포착되어 있는 피사체의 화상에 관해, 그것의 색상이나 채도 등의 히스토그램으로부터 도출되는 분포를 복수의 구간으로 나누고, 구간마다 촬상된 화상을 분류하는 처리가 실행된다.
예를 들면, 촬상된 화상에 대해서 복수의 색 성분의 히스토그램이 작성되고, 그것의 산 형상의 분포 범위로 구분하고, 동일한 구간의 조합에 속하는 영역에서 촬상된 화상이 분류되어, 피사체의 화상 영역이 인식된다.
인식된 피사체의 화상 영역마다 평가값을 산출함으로써, 해당 평가값이 가장 높은 피사체의 화상 영역을 주 피사체 영역으로서 판정할 수 있다.
이상의 방법으로, 촬상정보로부터 각 피사체 정보를 얻을 수 있다.
S902에서는, 상 흔들림 보정량의 산출을 행한다. 구체적으로는, 우선, 장치 흔들림 검출부(209)에 있어서 취득한 각속도 및 가속도 정보에 근거하여 촬상장치의 절대 각도의 산출을 행한다. 그리고, 절대 각도를 상쇄하는 각도 방향으로 틸트 회전 유닛(104) 및 팬 회전 유닛(105)을 움직이는 방진 각도를 구하여, 상 흔들림 보정량으로 한다. 이때, 여기에서의 상 흔들림 보정량 산출 처리는, 후술하는 학습 처리에 의해, 연산 방법을 변경할 수 있다.
S903에서는, 촬상장치의 상태 판정을 행한다. 각속도 정보나 가속도 정보나 GPS 위치 정보 등에서 검출한 각도나 이동량 등에 의해, 현재, 촬상장치가 어떤 진동/움직임 상태인지를 판정한다.
예를 들면, 자동차에 촬상장치(101)을 장착해서 촬영할 경우, 이동된 거리에 따라 크게 주변의 풍경 등의 피사체 정보가 변화한다.
그 때문에, 차동차 등에 장착해서 빠른 속도로 이동하고 있는 「탈 것 이동 상태」인지 아닌지를 판정하여, 뒤에 설명하는 자동 피사체 탐색에 사용할 수 있다.
또한, 각도의 변화가 큰지 아닌지를 판정하여, 촬상장치(101)이 흔들림 각도가 거의 없는 「거치 촬영 상태」인지를 판정한다.
「거치 촬영 상태」인 경우에는, 촬상장치(101) 자체의 각도 변화는 없다고 생각해서 되므로, 거치 촬영용의 피사체 탐색을 행할 수 있다.
또한, 비교적, 각도 변화가 큰 경우에는, 「핸드헬드 상태」로 판정되어, 핸드헬드용의 피사체 탐색을 행할 수 있다.
S904에서는, 피사체 탐색 처리를 행한다. 피사체 탐색은, 이하의 처리에 의해 구성된다.
(1) 에어리어 분할
도 13을 사용하여, 에어리어 분할을 설명한다. 도 13a와 같이 촬상장치(원점 O가 촬상장치 위치로 한다) 위치를 중심으로 하여, 전방위로 에어리어 분할을 행한다. 도13a의 예에 있어서는, 틸트 방향, 팬 방향 각각 22.5도로 분할하고 있다. 도13a와 같이 분할하면, 틸트 방향의 각도가 0도로부터 멀어짐에 따라서, 수평방향의 원주가 작아지고, 에어리어 영역이 작아진다. 따라서, 도 13b과 같이, 틸트 각도가 45도 이상인 경우, 수평방향의 에어리어 범위는 22.5도보다도 크게 설정하고 있다. 도 13c, d에 촬영 화각 내에서의 에어리어 분할된 예를 나타낸다. 축 1301은 초기화시의 촬상장치(101)의 방향이며, 이것의 방향 각도를 기준 위치로 하여 에어리어 분할이 행해진다. 1302은, 촬상되고 있는 화상의 화각 에어리어를 나타내고 있고, 그 때의 화상예를 도 13d에 나타낸다. 화각에 찍어져 있는 화상 내에서는 에어리어 분할에 근거하여 도 13d의 1303∼1318과 같이 화상 분할된다.
(2) 에어리어마다의 중요도 레벨의 산출
상기한 바와 같이 분할한 각 에어리어에 대해서, 에어리어 내에 존재하는 피사체나 에어리어의 씬 상황에 따라, 탐색을 행하는 우선 순위를 나타내는 중요도 레벨을 산출한다. 피사체의 상황에 근거한 중요도 레벨은, 예를 들면, 에어리어 내에 존재하는 인물의 수, 인물의 얼굴의 크기, 얼굴의 방향, 얼굴 검출의 정확도, 인물의 표정, 인물의 개인 인증 결과에 근거하여 산출한다. 또한, 씬의 상황에 따른 중요도 레벨은, 예를 들면, 일반 물체 인식 결과, 씬 판별 결과(푸른 하늘, 역광, 해질녘 등), 에어리어의 방향에서 발생하는 음향의 레벨이나 음성 인식 결과, 에어리어 내의 움직임 검지 정보 등이다. 또한, 촬상장치의 상태 판정(S903)에서, 촬상장치의 진동 상태가 검출되고 있고, 진동 상태에 따라서도 중요도 레벨이 변화하도록 할 수 있다. 예를 들면, 「거치 촬영 상태」로 판정되었을 경우, 얼굴 인증에서 등록되어 있는 것 중에서 우선도가 높은 피사체(예를 들면, 촬상장치의 유저이다)을 중심으로 피사체 탐색이 행해지도록, 특정 인물의 얼굴 인증을 검출하면 중요도 레벨이 높아지도록 판정된다. 또한, 후술하는 자동 촬영도 상기 얼굴을 우선해서 행해지게 되어, 촬상장치의 유저가 촬상장치를 몸에 착용하고 갖고 다니면서 촬영을 행하고 있는 시간이 많아도, 촬상장치를 분리하여 책상 위 등에 둠으로써, 유저가 찍힌 화상도 많이 남길 수 있다. 이때 팬·틸트에 의해 탐색 가능한 것으로부터, 촬상장치를 두는 각도 등을 생각하지 않아도, 적당히 설치하는 것만으로 유저가 찍힌 화상이나 많은 얼굴이 찍힌 집합 사진 등을 남길 수 있다. 이때, 상기 조건만으로서는, 각 에어리어에 변화가 없는 한, 가장 중요도 레벨이 높은 에어리어가 같아지고, 그 결과 탐색되는 에어리어가 쭉 바뀌지 않게 되어 버린다. 따라서, 과거의 촬영 정보에 따라 중요도 레벨을 변화시킨다. 구체적으로는, 소정 시간 계속해서 탐색 에어리어에 계속해서 지정된 에어리어는 중요도 레벨을 낮추거나, 후술하는 S910에서 촬영을 행한 에어리어에서는, 소정 시간 동안 중요도 레벨을 낮추어도 된다.
(3) 탐색 대상 에어리어의 결정
상기한 바와 같이 각 에어리어의 중요도 레벨이 산출되면, 중요도 레벨이 높은 에어리어를 탐색 대상 에어리어로서 결정한다. 그리고, 탐색 대상 에어리어를 화각에 포착하기 위해서 필요한 팬·틸트 탐색 목표 각도를 산출한다.
S905에서는, 팬·틸트 구동을 행한다. 구체적으로는, 상 흔들림 보정량과 팬·틸트 탐색 목표 각도에 근거한 제어 샘플링에서의 구동 각도를 가산함으로써, 팬·틸트 구동량을 산출하고, 경통 회전 구동부(205)에 의해, 틸트 회전 유닛(104), 팬 회전 유닛(105)을 각각 구동 제어한다.
S906에서는 줌 유닛(201)을 제어하여 줌 구동을 행한다. 구체적으로는, S904에서 결정한 탐색 대상 피사체의 상태에 따라 줌을 구동시킨다. 예를 들면, 탐색 대상 피사체가 인물의 얼굴일 때, 화상 위의 얼굴이 지나치게 작으면 검출가능한 최소 사이즈를 밑돔으로써 검출을 할 수 없고, 놓쳐 버릴 우려가 있다. 그러한 경우에는, 망원측으로 줌함으로써 화상 위의 얼굴의 사이즈가 커지도록 제어한다. 한편, 화상 위의 얼굴이 지나치게 클 경우, 피사체나 촬상장치 자체의 움직임에 의해 피사체가 화각으로부터 벗어나기 쉬워져 버린다. 그러한 경우에는, 광각측으로 줌함으로써, 화면 위의 얼굴의 사이즈가 작아지도록 제어한다. 이렇게 줌 제어를 행함으로써, 피사체를 추적하는데 적합한 상태를 유지할 수 있다.
S904 내지 S906에서는, 팬·틸트나 줌 구동에 의해 피사체 탐색을 행하는 방법을 설명했지만, 광각의 렌즈를 복수 사용해서 전방위를 한번에 촬영하는 촬상 시스템에서 피사체 탐색을 행해도 된다. 전방위 카메라의 경우, 촬상에 의해 얻어지는 신호 모두를 입력 화상으로 하여, 피사체 검출 등의 화상처리를 행하면 방대한 처리가 필요하게 된다. 따라서, 화상의 일부를 잘라내어, 잘래낸 화상 범위 중에서 피사체의 탐색 처리를 행하는 구성으로 한다. 전술한 방법과 마찬가지로 에어리어마다의 중요 레벨을 산출하고, 중요 레벨에 근거하여 잘라낼 위치를 변경하고, 후술하는 자동 촬영의 판정을 행한다. 이에 따라, 화상처리에 의한 소비 전력의 저감이나 고속의 피사체 탐색이 가능해 진다.
S907에서는, 유저(수동)에 의한 촬영 지시가 있었는지 어떤지를 판정하여, 촬영 지시가 있었을 경우, S910으로 진행한다. 이때, 유저(수동)에 의한 촬영 지시는, 촬상장치(101)에 설치된 셔터 버튼 누름에 의한 것이나, 핸드헬드 조작 어태치먼트(5001)에 설치된 셔터 버튼 누름에 의한 것이어도 된다. 또한, 촬상장치의 하우징을 손가락 등으로 가볍게 두드린다(탭), 음성 코맨드 입력, 외부 기기로부터의 지시 등에 의해서도 좋다. 탭 조작에 의한 촬영 지시는, 유저가 촬상장치의 하우징을 탭했을 때, 장치 흔들림 검출부(209)에 의해 단기간에 연속한 고주파의 가속도를 검지하고, 촬영의 트리거로 하는 촬영 지시 방법이다. 음성 코맨드 입력은, 유저가 소정의 촬영을 지시하는 암호(예를 들면, 「사진 찍어」 등)을 발성한 경우, 음성 처리부(214)에서 음성을 인식하고, 촬영의 트리거로 하는 촬영 지시 방법이다. 외부 기기로부터의 지시는, 예를 들면, 촬상장치와 Bluetooth 접속한 스마트폰 등으로부터, 전용의 어플리케이션을 거쳐 송신된 셔터 지시 신호를 트리거로 하는 촬영 지시 방법이다.
S908에서는, 자동 촬영 판정을 행한다. 자동 촬영 판정에서는, 자동 촬영을 행할 것인지 아닌지의 판정과, 촬영 방법의 판정(정지화상 1매 촬영, 정지화상 연속 촬영(연사), 동화상 촬영, 파노라마 촬영, 타임 랩스 촬영 등 중에서 어느 것을 실행할지의 판정)을 행한다.
이때, 눈앞에 있는 물건의 촬영을 위해, 유저가 촬상장치를 몸에 착용한 채, 약간 전방으로 돌출하면서 촬영하는 것 같은 씬이 생각된다. 이러한 씬에 있어서는, 예를 들면, 신속하게 통상 정지화상을 촬영해 주는 것이 요망된다. 명승지를 촬영하기 위해서, 유저가 목에서 매달고 있었던 촬상장치를 손에 쥐는 것으로 전환하고, 전방 윗쪽으로 치켜올리면서 촬영하는 것 같은 씬도 생각된다. 이러한 씬에서는, 예를 들면, 파노라마 촬영이 기대되고 있거나, 그렇지 않을 경우라도, 파노라마 촬영을 한 화상을 유저에게 제시함으로써 유저는 그러한 촬영 방법을 알고, 금후의 촬영에 살리는 것이 가능해 진다. 따라서, 이들의 판별을 행하기 위해서, 예를 들면, 유지 상태로부터 촬영에 이를 때까지의 촬상장치의 이동 거리를 검출함으로써, 씬을 판별한다. 이렇게, 촬상장치의 설정 방식에 의해, 선호하는 촬영 방법이 다른 경우가 있기 때문에, 촬영에 이를 때의 촬상장치의 상태에 따라 촬영 방법을 전환하는 것이 가능해 진다. 또한, 피사체가 다소 윗쪽에 있어, 그것을 촬영하기 위해서 위로 치켜올려서 촬영하는 씬의 경우의 유저의 목적으로서는, 신속하게 통상 정지화상을 촬영해 주는 것이 요망된다. 따라서, 이것들의 판별을 행하기 위해서, 예를 들면, 피사체 거리를 검출한다. 이에 따라, 씬을 판별하는 것이 가능해 진다. 이렇게, 피사체의 상태에 따라서, 선호하는 촬영 방법이 다른 경우가 있기 때문에, 촬영에 이를 때의 촬상장치의 상태, 및 보이고 있는 피사체의 상태에 따라 촬영 방법을 전환하는 것이 가능해 진다. 눈앞에 있는 세로로 긴 피사체의 촬영을 위해, 유저가 목에서 매달고 있었던 촬상장치를 손에 쥐는 것으로 전환하고, 위를 향해 잡으면서 촬영하고 있는 상태를 나타내고 있다. 이것은, 예를 들면, 관광지에서 고층 건축물을 촬영하는 것 같은 씬이 생각된다. 이러한 씬에서는, 예를 들면, 세로 방향의 파노라마 촬영이 기대되고 있거나, 그렇지 않은 경우에도, 세로 방향의 파노라마 촬영을 한 화상을 유저에게 제시함으로써, 유저는 그러한 촬영 방법을 알고, 금후의 촬영에 살리는 것이 가능해 진다. 따라서, 이러한 경우에 있어서는, 유지 각도를 검출한다. 이에 따라, 씬을 판별하는 것이 가능해 진다. 이때, 이때의 피사체의 상태로서, 예를 들면, 피사체까지의 거리, 및 피사체의 상하, 좌우의 영역에 있는 피사체까지의 거리를 더 판정함으로써, 세로 방향의 파노라마와 횡 방향의 파노라마의 어느쪽이 바람직한지라고 하는 판별의 정밀도를 상승시키는 것도 가능하다. 즉, 피사체·및 그것의 상하 영역의 거리가 같은 정도의 거리에 있으면, 세로 방향의 파노라마 촬영을 행한다고 하는 판단을 하는 것이 가능해 진다. 또한, 360도 촬영을 위해, 유저가 목에서 매달고 있었던 촬상장치를 손에 쥐는 것
으로 전환하고, 바로 위로 향하게 하면서 촬영하고 있는 씬이 생각된다. 이것은, 예를 들면, 산 정상에서 주위를 둘러보는 화상을 촬영하는 것 같은 씬이 생각된다. 이때, 예를 들면, 유저는 외부 기기를 사용해서 360도 촬영 모드로 설정하고, 촬영 지시를 행하는 것이 생각된다. 따라서, 예를 들면, 이러한 경우에는 외부 기기를 조작하려고 했을 때에, 360도 촬영으로의 이행을 문의하는 것 같은 UI를 제시하면, 유저의 조작의 수고를 삭감하는 것이 가능해 진다. 더구나, 그러한 것을 몇번인가 반복하는 동안에, 유저는 외부 기기를 조작할 것까지도 없고, 바로 위로 치켜올려서 셔터 버튼을 누르는 것 만으로 360도 촬영을 행할 수 있는 것을 기대하게 된다. 따라서, 이러한 경우에 있어서는, 예를 들면, 유지 상태로부터 촬영에 이를 때까지의 촬상장치의 이동 방향이 바로 위 방향이었던 경우에는 360도 촬영을 행한다고 하는 것 같이 함으로써, 유저의 촬영의 수고를 경감하는 것이 가능하게 된다.
이렇게, 촬상장치의 상태, 및 피사체의 상태에 근거하여 촬영 방법을 전환함으로써, 촬영시, 및 촬영 화상 확인시에 있어서의 유저의 수고를 경감하는 것이 가능해 진다.
이때, 이러한 촬상장치의 상태와 피사체의 상태에 따른, 기대되는 촬영 방법의 판정에 있어서도, <자동 촬영을 행할 것인지 아닌지의 판정>에서의 판정 방법과 마찬가지로, 뉴럴 네트워크에 근거한 판단에 의해 촬영 방법을 판정할 수도 있다. 또한, 이 판정 처리는, 후술하는 학습 처리에 의해 유저마다 판정 조건을 변경하는 것도 가능하다. 이러한 경우, 학습의 초기 단계에 있어서는 복수의 촬영 방법에 의해 복수의 화상을 기록해 두고, 후술하는 학습 처리에 있어서, 유저가 어느 촬영 방법의 화상을 좋아했는지에 따라, 판정 조건을 변화시켜 가는 것이 가능하다.
이렇게, 유저에 의한 수동 촬영 지시가 있었을 경우에 있어서, 유저의 의도에 따른 촬영 방법의 판정에 관해서 설명했지만, 이러한 처리는 S908b과 같은, 수동 촬영 지시가 없을 경우의 자동 촬영 판정 처리에 있어서도, 적용하는 것이 가능하다. 즉, 촬상장치가 설정되었다고 판정되었을 때에, 그 촬상장치의 설정 방식을 검출함으로써, 마찬가지로 유저의 의도를 반영한 촬영 방법의 판정을 행하는 것도 가능하다.
또한, 촬상장치의 가속도를 감시함으로써, 자동 촬영시에 있어서도, 촬상장치의 설정 방식을 검출하고, 유저의 의도를 반영한 촬영 방법을 판정해도 된다.
(1) 자동 촬영을 행할 것인지 아닌지의 판정
자동 촬영을 행할 것인지 아닌지의 판정은 이하의 2개의 판정에 근거해서 행한다. 1개는, S904에서 얻어진 에어리어별의 중요도 레벨에 근거하여, 중요도 레벨이 소정값을 초과하고 있을 경우, 자동 촬영을 실시하는 판정을 내린다. 2번째는, 뉴럴 네트워크에 근거한 판정이다. 뉴럴 네트워크의 일례로서, 다층 퍼셉트론에 의한 네트워크의 예를 도 12에 나타낸다. 뉴럴 네트워크는, 입력값으로부터 출력값을 예측하는 것에 사용되는 것이며, 미리 입력값과, 그 입력에 대해 모범이 되는 출력값을 학습해 둠으로써, 새로운 입력값에 대하여, 학습한 모범을 따르는 출력값을 추정할 수 있다. 이때, 학습의 방법은 후술한다. 도 12의 1201 및 그것의 세로로 늘어서는 원은 입력층의 뉴런이며, 1203 및 그것의 세로로 늘어서는 원은 중간층의 뉴런이며, 1204은 출력층의 뉴런이다. 1202과 같은 화살표는 각 뉴런을 연결하는 결합을 나타내고 있다. 뉴럴 네트워크에 근거한 판정에서는, 입력층의 뉴런에 대하여, 현재의 화각 중에 찍히는 피사체나, 씬이나 촬상장치의 상태에 근거한 특징량을 입력으로서 제공하고, 다층 퍼셉트론의 순방향 전파 법칙에 근거하는 연산을 거쳐 출력층으로부터 출력된 값을 얻는다. 그리고, 출력의 값이 임계값 이상이면, 자동 촬영을 실시하는 판정을 내린다. 이때, 피사체의 특징은, 현재의 줌 배율, 현재의 화각에 있어서의 일반 물체 인식 결과, 얼굴 검출 결과, 현재 화각에 찍히는 얼굴의 수, 얼굴의 웃는 정도·눈을 감은 정도, 얼굴 각도, 얼굴 인증 ID 번호, 피사체 인물의 시선 각도, 씬 판별 결과, 특정한 구도의 검출 결과 등을 사용한다. 또한, 전회 촬영시부터의 경과 시간, 현재 시간, GPS 위치 정보 및 전회 촬영 위치부터의 변화량, 현재의 음성 레벨, 목소리를 내고 있는 인물, 박수, 환성이 오르고 있는지 아닌지 등을 사용해도 된다. 또한, 진동 정보(가속도 정보, 촬상장치의 상태), 환경정보(온도, 기압, 조도, 습도, 자외선 량) 등을 사용해도 된다. 또한, 웨어러블 디바이스(501)로부터의 정보 통지가 있을 경우, 통지 정보(유저의 운동 정보, 팔의 액션 정보, 심박 등의 생체정보 등)도 특징으로서 사용해도 된다. 이 특징을 소정의 범위의 수치로 변환하고, 특징량으로서 입력층의 각 뉴런에 제공한다. 그 때문에, 입력층의 각 뉴런은 상기 사용할 특징량의 수만큼 필요하게 된다.
이때, 이 뉴럴 네트워크에 근거한 판단은, 후술하는 학습 처리에 의해, 각 뉴런 사이의 결합 가중을 변화시킴으로써 출력값이 변화되고, 판단의 결과를 학습 결과에 적응시킬 수 있다.
또한, 도 7의 스텝 702에서 판독한 Main 프로세서의 기동 조건에 의해, 자동 촬영되는 판정도 변화한다. 예를 들면, 탭 검출에 의한 기동이나 특정 음성 코맨드에 의한 기동의 경우에는, 유저가 현재 촬영하고 싶은 조작일 가능성이 대단히 높다. 따라서, 촬영 빈도가 많아지도록 설정되게 된다.
(2) 촬영 방법의 판정
촬영 방법의 판정에서는, S901 내지 S904에 있어서 검출한, 촬상장치의 상태나 주변의 피사체의 상태에 근거하여, 정지화상 촬영, 동화상 촬영, 연사, 파노라마 촬영 등 중 어느것을 실행할 것인지의 판정을 행한다. 예를 들면, 피사체(인물)이 정지하고 있는 경우에는 정지화상 촬영을 실행하고, 피사체가 움직이고 있는 경우에는 동화상 촬영 또는 연사를 실행한다. 또한, 피사체가 촬상장치를 둘러싸도록 복수 존재하고 있을 경우나, 전술한 GPS 정보에 근거하여 명승지인 것을 판단할 수 있었을 경우에는, 팬·틸트를 조작시키면서 순차 촬영한 화상을 합성해서 파노라마 화상을 생성하는 파노라마 촬영처리를 실행해도 된다. 이때, <자동 촬영을 행할 것인지 아닌지의 판정>에서의 판정 방법과 마찬가지로, 촬영전에 검출한 각종 정보를 뉴럴 네트워크에 근거한 판단에 의해, 촬영 방법을 판정할 수도 있고, 이 판정 처리는, 후술하는 학습 처리에 의해, 판정 조건을 변경할 수 있다.
S909에서는, S908의 자동 촬영 판정에 의해 촬영하는 판정이 내려진 경우, S910로 진행하고, 내려지지 않았을 경우, 촬영 모드 처리 종료로 진행한다.
S910에서는, 자동 촬영을 개시한다. 이때, S908에서 판정된 촬영 방법에 의한 촬영을 개시한다. 그때, 포커스 구동 제어부(204)에 의한 오토 포커스 제어를 행한다. 또한, 미도시의 조리개 제어부 및 센서 게인 제어부, 셔터 제어부를 사용하여, 피사체가 적절한 밝기가 되도록 노출 제어를 행한다. 더구나, 촬영후에는 화상처리부(207)에 있어서, 오토 화이트 밸런스 처리, 노이즈 리덕션 처리, 감마 보정처리 등, 다양한 화상처리를 행하여, 화상을 생성한다.
이때, 이 촬영시에, 소정의 조건을 만족시켰을 때, 촬상장치가 촬영 대상이 되는 인물에 대해 촬영을 행하는 취지를 통지 처리한 후에 촬영하는 수단을 채용해도 된다. 통지의 방법은, 예를 들면, 음성 출력부(218)로부터의 음성이나 LED 제어부(224)에 의한 LED 점등광을 사용해도 되고, 팬·틸트를 구동함으로써 시각적으로 피사체의 시선을 유도하는 모션 동작을 해도 된다. 소정의 조건은, 예를 들면, 화각 내에 있어서의 얼굴의 수, 얼굴의 웃는 정도·눈을 감은 정도, 피사체 인물의 시선 각도나 얼굴 각도, 얼굴 인증 ID 번호, 개인 인증 등록되어 있는 사람의 수 등이다. 또한, 촬영시의 일반 물체 인식 결과, 씬 판별 결과, 전회 촬영시부터의 경과 시간, 촬영 시간, GPS 정보에 근거하는 현재 위치가 명승지인지 아닌지, 촬영시의 음성 레벨, 목소리를 내고 있는 인물의 유무, 박수, 환성이 오르고 있는지 아닌지 등이다. 또한, 진동 정보(가속도 정보, 촬상장치의 상태), 환경 정보(온도, 기압, 조도, 습도, 자외선 량) 등이다. 이러한 조건에 근거하여 통지 촬영을 행함으로써, 중요성이 높은 씬에 있어서 카메라에 대한 눈길이 바람직한 화상을 남길 수 있다.
또한, 소정의 조건을 복수 제공하고, 각 조건에 따라 음성을 변경하거나, LED의 점등 방법(색이나 점멸 시간 등)을 변경하거나, 팬·틸트의 모션 방법(움직임 방식이나 구동 속도)을 변경해도 된다.
이러한 촬영전의 통지에 대해서도, 촬영 화상의 정보, 또는 촬영전에 검출한 각종 정보를 뉴럴 네트워크에 근거한 판단에 의해, 통지의 방법이나 타이밍을 판정할 수도 있다. 또한, 이 판정 처리는, 후술하는 학습 처리에 의해, 판정 조건을 변경할 수 있다.
S911에서는, S910에서 생성한 화상을 가공하거나, 동화상에 추가하고 싶은 편집 처리를 행한다. 화상 가공에 대해서는, 구체적으로는, 인물의 얼굴이나 초점맞춤 위치에 근거한 트리밍 처리, 화상의 회전 처리, HDR(하이 다이나믹 레인지) 효과, 블러 효과, 색 변환 필터 효과 등이다. 화상 가공은, S910에서 생성한 화상을 기초로, 상기한 처리의 조합에 의해 복수 생성하고, 상기 S910에서 생성한 화상과는 별도로 보존하도록 해도 된다. 또한, 동화상 처리에 대해서는, 촬영한 동화상 또는 정지화상을, 생성된 편집 동화상에 슬라이드, 줌, 페이드의 특수효과 처리를 내면서 추가한다고 하는 처리를 해도 된다. S911에서의 편집에 대해서도, 촬영 화상의 정보, 또는 촬영전에 검출한 각종 정보를 뉴럴 네트워크에 근거한 판단에 의해, 화상 가공의 방법을 판정할 수도 있고, 이 판정 처리는, 후술하는 학습 처리에 의해, 판정 조건을 변경할 수 있다.
S912에서는 촬영 화상의 학습 정보 생성 처리를 행한다. 여기에서는, 후술하는 학습 처리에 사용하는 정보를 생성하고, 기록한다. 구체적으로는, 금회의 촬영 화상에 있어서, 촬영시의 줌 배율, 촬영시의 일반 물체 인식 결과, 얼굴 검출 결과, 촬영 화상에 찍히는 얼굴의 수, 얼굴의 웃는 정도·눈을 감은 정도, 얼굴 각도, 얼굴 인증 ID 번호, 피사체 인물의 시선 각도 등이다. 또한, 씬 판별 결과, 전회 촬영시부터의 경과 시간, 촬영 시간, GPS 위치 정보 및 전회 촬영 위치로부터의 변화량, 촬영시의 음성 레벨, 목소리를 내고 있는 인물, 박수, 환성이 오르고 있는지 아닌지 등이다. 또한, 진동 정보(가속도 정보, 촬상장치의 상태), 환경 정보(온도, 기압, 조도, 습도, 자외선 량), 동화상 촬영 시간, 수동 촬영 지시에 의한 것인지 아닌지 등이다. 더구나 유저의 화상의 기호를 수치화한 뉴럴 네트워크의 출력인 스코어도 연산한다.
이들 정보를 생성하고, 촬영 화상 파일에 태그 정보로서 기록한다. 또는, 불휘발성 메모리(216)에 기록하거나, 기록매체(221) 내에, 소위 카탈로그 데이터로서 각각의 촬영 화상의 정보를 리스트화한 형식으로 보존하도록 하여도 된다.
S913에서는 과거 촬영 정보의 갱신을 행한다. 구체적으로는, S908의 설명에서 서술한 에어리어마다의 촬영 매수나, 개인 인증 등록된 인물마다의 촬영 매수, 일반 물체 인식에서 인식된 피사체마다의 촬영 매수, 씬 판별의 씬마다의 촬영 매수에 대해서, 금회 촬영된 화상이 해당하는 매수의 카운트를 1개 늘린다.
(음성 인식에 의한 수동 촬영의 예)
상기 도 9의 S907에서, 설명한 바와 같이, 유저(수동)에 의한 촬영 지시는, 음성 코맨드 입력에 의한 지시도 있다. 음성 코맨드 입력은, 유저가 자기 자신을 포함하는 촬영을 행하고 싶을 경우의 음성 코맨드 입력(예를 들면, 「나의 사진 찍어」 등)을 포함한다. 그리고, 팬·틸트나 줌을 사용한 탐색 처리에서, 목소리를 발성한 피사체를 탐색하고, 촬영 화각 내에 음성 코맨드를 발성한 피사체를 포함시킨 촬영을 실행한다.
음성 코맨드에 의한 유저 자신의 촬영에 대해서, 도24에 흐름도를 사용하여 설명한다. 도24는 도 9의 S907의 처리 내에서 판정되는 처리다.
S907 수동 촬영 지시 처리 내에서, 음성 코맨드 입력에 의한 촬영인지 아닌지의 판정을 행한다. S2401에서는, 음성 처리부(214)에서 특정한 음성 코맨드 입력(예를 들면, 「나의 사진 찍어」 등)을 검출하였는지 아닌지를 판정하여, 음성 코맨드 검출이 없었을 경우, S2416로 진행하야, 수동 촬영 판정은 되지 않고 음성 수동 촬영 판정 처리를 종료한다. S2401에서 음성 코맨드 검출이 있었을 경우, S2402로 진행한다.
S2402에서는, 음성 코맨드를 검출한 음의 방향을 산출하지만, 음의 방향의 신뢰도가 높은 순서로부터 제1음 방향, 제2음 방향, 또는 제3 제4 음 방향의 후보를 산출한다. 음 방향 검출의 정밀도가 매우 높은 경우에는, 복수의 후보를 산출하고, 그 후의 탐색 처리 등도 행할 필요가 없다. 그러나, 음성 코맨드 검출시의 주변의 소음의 상태이거나, 음향반사 등의 물체 환경의 영향 등으로, 검출한 음 방향에는 노이즈가 포함되어 있는 일이 있을 수 있기 때문에, 복수의 후보를 산출하고 있다.
구체적으로는, 음성 코맨드를 검출한 시점을 기준으로 하여 소정 시간 전까지 검출된 모든 음 방향 검출의 값으로부터 산출한다. 미리 등록된 음성 코맨드를 발성하는 시간은, 어느 정도 예측하는 것이 가능하다(예를 들면, 「나의 사진 찍어」가 코맨드인 경우, 코맨드를 발성하는데 필요한 시간을 파라미터로서 설정해 둔다). 상기 소정 시간 내에 검출된 모든 음 방향 검출값으로부터 도25와 같은 히스토그램 처리에서, 제1피크(2501)을 제1음성 방향, 제2피크(2502)을 제2음성 방향으로 설정한다. 제1음성 방향과 제2음성 방향을 각각 산출하고, S2405로 진행한다.
S2403에서는, 팬·틸트의 리트라이 설정이 되어 있는지 아닌지를 판정한다. 팬·틸트의 리트라이 설정은 뒤의 S2415에서 팬·틸트 리트라이가 설정되고, 본 플로우의 음성 수동 촬영 판정 처리가 스타트한 시점에서는 팬·틸트 리트라이 판정이 되지 않고 있는 상태로 되어 있다. S2403에서 팬·틸트 리트라이가 설정되지 않고 있을 경우, S2404로 진행하고, 음 방향으로 S2402에서 산출한 제1음성 방향을 음 방향으로 설정한다. S2403에서 팬·틸트 리트라이가 설정되어 있다고 판정되었을 경우, S2405로 진행하고, 음 방향으로 S2404에서 산출한 제2음성 방향을 음 방향으로 설정한다. S2404과 S2405의 처리가 종료하면, S2406로 진행한다.
S2406에서는, 상기 설정한 음 방향과 현재의 팬·틸트 각도의 차이가 소정 범위 외, 즉 음 방향과 현재의 화각 중심의 차이가 소정 범위 외인지 아닌지를 판정한다. 그리고, 소정 범위 외인 경우, S2407로 진행하고, 팬·틸트의 각도를 검출한 음 방향이 화각 중심에 오도록 팬·틸트 구동을 행하고, S2408로 진행한다. S2406에서 음 방향과 현재의 화각 중심의 차이가 소정 범위 내인 경우에는, 음 방향이 화각 내의 중심 부근에 위치하고 있으므로, 팬·틸트를 구동하지 않고 S2408로 진행한다.
S2408에서는, 촬영 화상을 화상처리 해석으로 주 피사체가 현재 화각 내에 있는지 아닌지를 판정한다. 구체적인 판정 방법으로서는 이하에 나타낸다.
(1) 컨볼루션 뉴럴 네트워크에 의한 주 피사체 검출
화상 인식 처리의 일반적인 기계학습 수단으로서, 컨볼루션 뉴럴 네트워크에 의한 주 피사체 검출이 알려져 있다. 컨볼루션 뉴럴 네트워크에 의해, 검출한 주 피사체(목소리를 내고 있는 피사체)의 유무와, 존재하면 화상 위의 위치 정보가 얻어진다. 또는, 얼굴 검출이나 인체 검출 결과에 근거하여, 각 인물의 영역을 잘라낸 화상마다 컨볼루션 뉴럴 네트워크에 의한 주 피사체 판정을 행하여, 주 피사체를 추정해도 된다. 이 컨볼루션 뉴럴 네트워크는, 음성 코맨드에 의한 발성을 행한 인물의 화상에 근거하여 미리 학습된 것으로서 준비해 두지만, 나중에 설명하는 방법에서 사용해 가는 동안에 학습시켜 갈 수도 있다.
(2) 뉴럴 네트워크에 의한 주 피사체 검출
현재의 화각 중에 찍히는 인물마다, 피사체의 특징량을 입력으로서 제공하고, 각 인물에 대하여, 주 피사체 판정을 행하는 방법이 있다. 그 경우, 얼굴의 표정 판정 결과나 눈을 감은 정도, 얼굴 각도, 얼굴 인증 ID 번호, 피사체 인물의 시선 각도 등의 얼굴의 특징 이외에도, 제스처 판정 결과, 화상 씬 판 결과, 현재의 음향 레벨, 음향 씬 판정 결과 등을 입력하는 특징으로서 하도록 해도 된다. 이 뉴럴 네트워크에 대해서도, 음성 코맨드에 의한 발성을 행한 인물의 화상에 근거하여 피사체 특징량에 근거하여 학습된 것이며, 나중에 설명하는 방법에서 사용해 가는 동안에 학습시켜 갈 수도 있다.
(3) 인물마다의 특징의 판정에 의한 피사체 검출
피사체는 촬상장치(101)을 향해서 음성 코맨드를 발성한 후이므로, 카메라의 방향을 향하고 있을 가능성이 매우 높다. 따라서, 얼굴 인증 ID 번호, 얼굴 표정 결과, 얼굴 각도, 시선 방향, 제스처 판정 결과의 각각의 검출 결과에 가중 계수를 곱해 단순하게 판정을 행해도 된다. 얼굴 인증 ID가 등록필인 경우, 주 피사체일 가능성이 높다. 얼굴 표정의 웃는 정도가 높을 경우, 주 피사체일 가능성이 높다. 얼굴 각도나 시선 방향이 카메라의 방향을 향하고 있을 경우, 주 피사체일 가능성이 높다. 제스처(예를 들면, 카메라를 향해서 손을 흔드는 것 등)을 행하고 있을 경우, 주 피사체일 가능성이 높다. 어느 한개 1개 이상의 정보를 사용하여, 주 피사체를 추정해도 된다.
어느 한개의 방법을 사용하여, 주 피사체가 현재 화각 내에 있는지 아닌지를 판정할 수도 있고, (1)∼(3)을 조합해서 판정해도 된다.
S2408에서, 화상해석을 행하면 S2409로 진행하고, S2408의 처리에서 주 피사체가 발견되었는지 아닌지를 판정한다. S2409에서 주 피사체 있음으로 판정되면, S2410로 진행한다. S2410에서는, 줌이나 팬·틸트를 구동해서 구도 조정을 행하고, S2411로 진행한다. 주 피사체를 포함하는 화상을 촬영하는데 알맞은 구도의 판정은, 뉴럴 네트워크에 의한 판정을 행해도 된다. 또한, 후술하는 학습 처리에 의해, 각 뉴런 사이의 결합 가중을 변화시킴으로써, 출력값이 변화되고, 판단의 결과를 학습 결과에 적응시킬 수도 있다.
S2411에서는, 수동 촬영 지시가 있었다고 판정하여, S2416로 진행하고, 음성 수동 촬영 판정 처리를 종료하고, 도 9의 S910로 진행하여, 촬영이 개시된다.
S2409에서 현재 화각 내에 주 피사체 없음으로 판정되면, S2412로 진행한다.
S2412에서는, S2407에서 팬·틸트를 완료한 후 소정의 시간이 경과했는지를 판정한다. S2406에서 음 방향과 현재 화각 중심의 차이가 소정 범위 내라고 판정되고 있었던 경우에는, 판정된 시점부터의 시간의 경과로 판정한다. 여기에서, 소정 시간이 경과하지 않고 있으면, S2413로 진행하여 줌에 의한 탐색을 행한다. 음성 코맨드를 발성한 피사체가 화각 내에 있어서 매우 작은 경우에는, 얼굴의 크기가 작고 얼굴 에 대한 해상도도 작으므로 화상 해석에 의한 검출 정밀도에 영향을 미치고 있을 가능성이 있다. 따라서, 그 경우는 화각을 좁게 하는 방향으로 줌을 구동해서 재차 S2408로부터의 처리를 행한다. 또한, 음성 코맨드를 발성한 피사체가 화각 내에 있어서 지나치게 큰 경우에는, 인물의 전체 형상을 알 수 없어, 예를 들면, 제스처를 하고 있는 것 등을 고려해서 판정할 수 없다. 따라서, 화각을 넓게 하는 방향으로 줌을 구동해서 재차 S2408로부터의 처리를 행한다.
S2412에서, 팬·틸트를 완료한 후 소정의 시간이 경과하였다고 판정되면, 설정한 음 방향에, 음성 코맨드를 발성한 피사체가 존재하고 있지 않다고 판단한다. 그리고, 다음 후보의 음 방향을 탐색하기 위해서, S2414로 진행하고, 팬·틸트의 리트라이 동작이 지금까지 행해지고 있었는지를 판정하여, 리트라이 되지 않고 있으면, S2415로 진행하여, 팬·틸트 리트라이로 설정하고, S2403로 되돌아간다. 이때, 팬·틸트 리트라이 설정이 되어 있으므로 S2403에서의 판정에 의해, S2405의 제2음성 방향의 음 방향으로 화각을 설정하고, 다시 주 피사체의 탐색 처리를 행한다. 도24의 예에서는 제1음성 방향과 제2방향의 2개의 후보에 대해서 탐색하는 방법을 나타내고 있지만, 제3 제4 방향을 검출해서 리트라이를 반복해도 된다.
S2414에서 팬·틸트 리트라이가 이미 되어 있다고 판정되면, S2416로 진행하여, 수동 촬영 판정은 되지 않고 음성 수동 촬영 판정 처리를 종료한다. 이때, 음성 코맨드를 검출한 것에 관계없이, 촬영이 행해지지 않은 것을 유저에게 알리기 위해서, 통지 처리하는 수단을 취해도 된다. 통지의 방법은, 예를 들면, 음성 출력부(218)로부터의 음성이나 LED 제어부(224)에 의한 LED 점등광을 사용해도 된다. 또한, 팬·틸트를 구동함으로써 시각적으로 피사체의 시선을 유도하는 모션 동작을 해도 되고, 스마트 디바이스(301)나 웨어러블 디바이스(501)에 통신하여, 통지하는 방법을 취해도 된다.
도24에서는, 유저가 자기 자신을 포함하는 촬영을 행하고 싶은 경우의 음성 코맨드 입력을 행한 경우의 촬영에 대해 설명하였다. 그렇지만, 음성 코맨드 입력은, 유저가 자기 자신을 주요 피사체로서 등록되고 싶은 경우의 음성 코맨드 입력(예를 들면, 「나를 등록해」 「나를 쫓아가」 등)이어도 된다. 그 경우, 상기 탐색 처리에서, 목소리를 발성한 피사체를 탐색하고, 피사체를 등록한다. 피사체가 등록되면 그후, 등록한 피사체를 중심으로 자동 촬영이 행해진다. 또한, 팬·틸트나 줌 구동에 의해, 화각 내에 등록한 피사체를 항상 유지하면서, 촬영을 행할 수도 있다.
피사체 등록의 음성 코맨드를 입력한 경우, 도24의 처리 중, S2411의 처리를 피사체 등록하는 처리로 변경함으로써 실현가능하다.
피사체를 등록할 경우도, 얼굴 인증 등록을 행하기 쉬운 화각이나, 착용하고 있는 의복의 색 검출 등록 등을 행하기 쉽도록, 팬·틸트나 줌을 구동해서 검출·등록 처리를 행하게 된다.
또한, 촬상장치(101)에 모니터가 없을 경우, 등록된 피사체를 확인할 수는 없다. 따라서, 도26에 나타낸 것과 같이, 스마트 디바이스(301)에 피사체가 등록된 것을 통지하도록 하여도 되고, 등록된 피사체의 화상 데이터도 송신하여, 유저가 확인할 수 있도록 하여도 된다.
피사체를 등록하면 통신 수단(222)에 의해 스마트 디바이스(301)에, 등록된 취지를 알 수 있는 통지(2602)을 행하는 데이터를 통신(2601)한다. 유저의 스마트 디바이스(301)의 조작에 의해, 피사체를 확인하면, 화상 데이터를 송신(2603)하여, 스마트 디바이스에 등록한 피사체(2604)이 확인 할 수 있게 표시한다. 이 확인할 수 있는 표시는, 촬상장치(101)이 얼굴 인증하고 있는 것을 나타내기 위해, 얼굴 프레임 또는 그 부근(아래)에 해당 등록되어 있는 피사체(2604)의 관련 화상을 중첩 표시하도록 하여도 된다. 동화상 촬영중에 표시해도 되고, 동화상 재생시에 표시해도 된다.
이렇게 등록된 피사체를 유저에서 확인할 수 있게 통지함으로써, 만일 등록된 피사체가 틀린 경우에도, 다시 피사체 등록을 유저에게 촉구할 수 있다. 또한, 맞는지 틀리는지가 판정가능하므로, 나중 설명하는 학습 처리에 의해, 학습하야, 변화되어 가는 것도 가능하게 된다.
본 실시형태에서는, 팬·틸트와 줌 구동의 양쪽을 사용하여, 음성 코맨드 입력에 의한 음 방향의 촬영이나 피사체 등록을 설명했지만, 팬·틸트 만을 사용해서 촬영이나 피사체 등록을 행할 수도 있고, 줌 구동 만을 사용해서 촬영이나 피사체 등록을 행할 수도 있다.
팬·틸트 만을 사용할 경우, 도24에서는, S2412 및 S2413은 행해지지 않는다.
줌 구동 만을 사용할 경우, 음 방향을 검출한 후, 음 방향이 화각 내에 들어가도록 줌 구동을 설정하고, 또한 줌 구동으로 주 피사체를 찾아, 촬영이나 피사체 등록을 행한다.
<자동 편집 모드 처리(하이라이트 동화상)>
다음에, 본 실시형태에 있어서의 자동 편집 모드 처리(하이라이트 동화상)에 대해 설명한다.
도 7의 스텝 704의 모드 설정 판정에서, 자동 편집 처리(하이라이트 동화상)을 행할 것인지 아닌지를 판정하여, 자동 편집 처리를 행할 경우, 스텝 712의 자동 편집 모드 처리를 행한다.
자동 편집 모드의 판정 조건을 설명한다. 자동 편집 모드로 이행할 것인지 아닌지는, 전회 편집 처리를 행한 후의 경과 시간이나, 전회 편집 처리를 행한 시점 이후로 촬영된 각 화상의 태그 정보(학습 정보나 유저의 화상의 기호를 수치화한 스코어 등)에 근거하여 판정된다. 스텝 704의 모드 설정 판정 처리 내에서 판정되는, 자동 편집 모드로 이행해야 할 것인지 아닌지의 판정 처리 플로우를 도 10에 나타낸다.
스텝 704의 모드 설정 판정 처리 내에서 자동 편집 모드 판정이 개시 지시되면, 도 10의 처리가 스타트한다. 스텝 1001에서는, 전회 자동 편집 처리가 행해진 후의 경과 시간 timeD를 취득하고, 스텝 1002로 진행한다. 스텝 1002에서는, 전회 편집 처리를 행한 시점 이후로 촬영된 각 화상에 대응한 학습 정보나 스코어 등을 취득하고, 스텝 1003로 진행한다. 스텝 1003에서는, 스텝 1002에서 취득한 각 데이터로부터 자동 편집을 행해야 할 것인지 아닌지를 판정하기 위한 평가값 DB을 연산한다. 평가값의 연산 방법은, 예를 들면, 각 화상정보로부터 화상의 특징을 추출하고, 특징의 종류가 많은 경우에는 점수가 높아지도록 한다. 또한, 상기 자동 촬영에서 설명한 바와 같이 각 화상에는, 유저의 기호를 판정된 스코어가 연산되어 있고, 스코어가 높은 화상이 많은 경우도 점수가 높아지도록 한다. 또한, 촬영된 수가 많아도 점수는 높아지도록 계산한다. 이에 따라, 평가값은 스코어의 점수의 높이에 의존하고, 화상의 수에 의존하고, 특징의 종류에도 의존하게 된다. 스텝 1004로 진행한다. 스텝 1004에서는, TimeD로부터 임계값 DA를 연산한다. 예를 들면, TimeD가 소정값보다도 작을 경우의 임계값 DAa가, 소정값보다도 클 경우의 임계값 DAb보다도 크게 설정되어 있고, 시간 경과에 의해, 임계값이 작아지도록 설정하고 있다. 이에 따라, 촬영 데이터가 적을 경우에 있어서도, 시간 경과가 크면 자동 편집 처리를 행하도록 함으로써, 사용 시간에 따라 촬상장치가 자동적으로 하이라이트 동화상을 작성해 주도록 하고 있다.
스텝 1004의 처리를 종료하면, 스텝 1005로 진행하여, 평가값 DB이, 임계값 DA보다 클 경우, 스텝 1006로 진행한다. 전회 자동 편집을 행한 시점부터, 자동 편집해야 할 데이터를 얻을 수 있었다, 또는 시간 경과가 크고, 자동 편집을 행해야 한다고 판정되었을 경우이므로, 자동 편집 모드를 TRUE로 하고, 자동 편집 모드 판정을 종료한다. 스텝 1005에서, 평가값 DB이 임계값 DA 이하인 경우에는, 자동 편집해야 할 데이터가 갖추어지지 않고 있다고 판정되어, 자동 편집 처리는 행하지 않도록 자동 편집 모드 판정을 FALSE로 하고, 자동 편집 모드 판정 처리를 종료한다.
다음에, 자동 편집 모드 처리(스텝 712) 내의 처리에 대해 설명한다. 자동 편집 모드 처리의 상세한 플로우를 도 11에 나타낸다.
S1101에서, 기록매체(221)에 보존된 정지화상, 동화상의 선발 처리를 제1제어부(223)에서 실시하여 편집에 사용할 화상을 선발하고, S1102로 진행한다.
여기에서 말하는 화상 선발 처리는, 촬영된 정지화상, 동화상 중의 얼굴의 수, 얼굴의 사이즈, 색군 등의 메타데이터를 화상마다 추출을 행하고, 평가값으로 환산하여 정한 임계값 이상의 것을 열거하는 것으로 한다. 후술하는 학습에 의해, 정지화상 및 동화상의 선발 비율을 결정하고, 유저의 설정, 촬영 빈도, 각 설정을 감안하여 우선적으로 선발을 행하도록 한다.
S1102에서, S1101에서 선발된 화상에 대해 제1제어부(223), 화상처리부(207)에서 화상 효과 부여를 행해 S1103로 진행한다.
여기에서 말하는 화상 효과 부여는, 정지화상에 있어서, 인물의 얼굴이나 초점맞춤 위치의 중심에서의 트리밍 처리, 화상의 회전 처리, HDR(하이 다이나믹 레인지) 효과, 블러 효과, 슬라이드, 줌, 페이드의 특수효과 처리, 색 필터 효과 등으로 한다.
동화상에 있어서도 마찬가지로 색 필터 부여를 행한다.
S1103에서, 제1제어부(223)에서 화상 재생 시간의 설정을 행하고 S1104로 진행한다. S1101에서 선발된 화상을 사용하여, S1105에서 설명하는 하이라이트 동화상을 작성하기 위해, 후술하는 학습에 근거해서 적절한 화상의 재생 시간을 설정한다.
S1104에서, 제1제어부(223)에서 S1105에서 설명하는 하이라이트 동화상에 부여하는 음악(BGM)의 설정을 행하고 S1105로 진행한다. 음악(BGM)의 설정에 대해서도 후술하는 학습한 결과보다 유저에게 제공하는 가장 적절한 것을 설정하는 것으로 한다.
S1105에서, 제1제어부(223)에서 S1101로부터 S1104에서 행한 결과를 사용해서 일련의 하이라이트 동화상 작성을 행한다. 작성한 하이라이트 동화상은, 기록매체(221)에 보존한다.
이때, 상기 설명한 화상의 선발이나, 화상 효과 부여나, 재생 시간이나 BGM 선택은, 각 화상에 부가되어 있는 태그 정보(촬영 화상의 정보, 또는 촬영전에 검출한 각종 정보)로부터, 뉴럴 네트워크에 근거한 판단에 의해, 판정할 수 있다. 또한, 이 판정 처리는, 후술하는 학습 처리에 의해, 판정 조건을 변경할 수도 있다.
<파일 자동 삭제 모드 처리>
다음에, 본 실시형태에 있어서의 파일 자동 삭제 모드의 처리에 대해 설명한다.
본 실시형태에서는, 기록매체의 빈 용량이 없어지면 촬영을 할 수 없어, 유저가 의도했을 때에 촬영을 할 수 없거나, 자동 촬영에 있어서 노린 씬을 촬영할 수 없을 우려가 있다. 유저 조작에 의해 화상을 삭제하는 것도 가능하지만, 번잡하다. 따라서, 이하 설명하는 처리에 의해 조건에 따른 촬영 화상의 자동 삭제를 행할 필요가 있다. 한편으로 유저가 나중에 필요로 하는 화상을 삭제해 버릴 우려도 있기 때문에, 적절한 화상을 선택해서 삭제를 행할 필요가 있다.
도29의 파일 자동 삭제 모드의 처리 플로우의 일례에 의해 처리를 설명한다.
S2901에서는 기억매체의 빈 용량을 확인한다. S2902에서는 기억매체의 빈 용량에 따라 목표의 삭제 매수를 결정한다. 목표의 삭제 매수는, 예를 들면, 빈 용량이 적을수록 많고, 촬영 빈도의 설정이 높을수록 많게 설정한다. 이때, 후술하는 학습에 의해 변화시켜도 된다. S2903에서는, 후술하는 유저의 화상의 기호를 수치화한 스코어의 내림차순으로 기억매체 내에 보존되어 있는 촬영된 화상을 소트한 리스트를 작성한다. S2904로부터는, 소트한 리스트의 상위로부터 하위를 향해서 1매씩 화상을 삭제할 것인지 아닌지를 판정하여, 삭제하는 처리를 실행한다. S2905에서는 리스트 상의 대상의 화상이 삭제 조건에 해당하는지 아닌지를 판정한다.
삭제하는 조건은, 예를 들면, 유저가 수동 촬영한 화상이 아닐 것, 유저가 고평가를 내린 화상이 아닐 것을 사용해도 된다. 이것들은, 유저가 마음에 들어 하거나, 나중에 필요로 할 가능성이 있는 화상이기 때문에 삭제 조건에서 제외하는 것이 바람직하다.
또한, 자동 전송 모드에서 스마트 디바이스 등 외부 통신 기기에 전송된 것과, 유저가 외부 통신 기기로부터 그 화상을 열람하지 않고 있는 것 등을 사용해도 된다. 전송된 것이면, 전송처의 화상을 이용가능하기 때문에, 삭제해도 유저의 불이익으로는 되기 어렵다. 또한, 유저가 한번도 열람하지 않고 있는 자동 촬영 화상은, 유저가 인지하고 있지 않기 때문에, 화상을 삭제해도 불이익을 느끼는 일은 없다고 생각된다. 삭제 조건에 해당하는 경우에는, S2906로 진행하고, 화상을 삭제한 후 S2907로 진행한다. 해당하지 않는 경우에는, 삭제를 행하지 않고 S2907로 진행한다. S2907에서는, 삭제 목표 매수를 달성하고 있는지 아닌지를 판별한다. 달성하고 있으면 자동 삭제 모드의 처리를 종료한다. 달성하지 않고 있으면, S2904로 되돌아가, 리스트의 다음 순위의 화상에 대해서, 순차 처리를 반복한다. S2904에서 리스트 위에 대상으로 하는 화상이 없어지면 처리를 종료한다.
<학습 모드 처리>
다음에, 본 실시형태에 있어서의 유저의 기호에 맞춘 학습에 대해 설명한다.
본 실시형태에서는 도 12에 나타낸 것과 같은 뉴럴 네트워크를 이용하고, 기계학습 알고리즘을 사용하여, 학습 처리부(219)에서 유저의 기호에 맞춘 학습을 행한다. 뉴럴 네트워크는, 입력값으로부터 출력값을 예측하는 것에 사용되는 것이며, 미리 입력값의 실적값과 출력값의 실적값을 학습해 둠으로써m 새로운 입력값에 대하여, 출력값을 추정할 수 있다. 뉴럴 네트워크를 사용함으로써, 전술한 자동 촬영이나 자동 편집, 피사체 탐색에 대하여, 유저의 기호에 맞춘 학습을 행한다.
또한, 뉴럴 네트워크에 입력하는 특징 데이터가 되는 피사체 등록(얼굴 인증이나 일반 물체 인식 등)을 등록하거나, 촬영 통지 제어나 저소비 전력 모드 제어나 파일 자동 삭제를 학습에 의해 변경하는 것도 행한다.
본 실시형태에 있어서, 학습 처리에 의해, 학습되는 요소는 이하이다.
(1) 자동 촬영
자동 촬영에 대한 학습에 대해 설명한다. 자동 촬영에서는, 유저의 기호에 맞는 화상의 촬영을 자동으로 행하기 위한 학습을 행한다. 도 9의 플로우를 사용한 설명에서 상기한 바와 같이, 촬영후(스텝 S912)에 학습 정보 생성 처리가 행해지고 있다. 후술하는 방법에 의해 학습시킬 화상을 선택시키고, 화상에 포함되는 학습 정보를 기초로, 뉴럴 네트워크의 가중을 변화시킴으로써 학습한다. 학습은, 자동 촬영 타이밍의 판정을 행하는 뉴럴 네트워크의 변경과, 촬영 방법(정지화상 촬영, 동화상 촬영, 연사, 파노라마 촬영 등)의 판정을 뉴럴 네트워크의 변경으로 행해진다.
(2) 자동 편집
자동 편집에 대한 학습에 대해 설명한다. 자동 편집은, 도 9의 스텝 911에서의 촬영 직후의 편집과, 도 11에서 설명한 하이라이트 동화상의 편집의 각각에 대해 학습이 행해진다. 촬영 직후의 편집에 대해 설명한다. 후술하는 방법에 의해 학습시킬 화상을 선택시키고, 화상에 포함되는 학습 정보를 기초로, 뉴럴 네트워크의 가중를 변화시킴으로써 학습한다. 촬영 또는 촬영 직전의 정보에 의해 얻어진 각종 검출 정보를 뉴럴 네트워크에 입력하고, 편집 방법(트리밍 처리, 화상의 회전 처리, HDR(하이 다이나믹 레인지) 효과, 블러 효과, 색 변환 필터 효과 등)의 판정을 행한다. 하이라이트 동화상의 편집에 대해 설명한다. 하이라이트 동화상은, 유저의 기호에 맞는 앨범 동화상 작성을 자동으로 행하기 위한 학습을 행한다. 후술하는 방법에 의해 학습시킬 화상을 선택시키고, 화상에 포함되는 학습 정보를 기초로, 뉴럴 네트워크의 가중을 변화시킴으로써 학습한다. 촬영 또는 촬영 직전의 정보에 의해 얻어진 각종 검출 정보를 뉴럴 네트워크에 입력하고, 화상 효과 부여(트리밍 처리, 회전 처리, HDR 효과, 블러 효과, 슬라이드, 줌, 페이드, 색 변환 필터 효과, BGM, 시간, 정지화상 동화상 비율)의 판정을 행한다.
(3) 피사체 탐색
피사체 탐색에 대한 학습에 대해 설명한다. 피사체 탐색에서는, 유저의 기호에 맞는 피사체의 탐색을 자동으로 행하기 위한 학습을 행한다. 도 9의 플로우를 사용한 설명에서 상기한 바와 같이, 피사체 탐색 처리(스텝 S904)에 있어서, 각 에어리어의 중요도 레벨을 산출하고, 팬·틸트, 줌을 구동하여, 피사체 탐색을 행하고 있다. 학습은 촬영 화상이나 탐색중의 검출 정보에 의해 학습되고, 뉴럴 네트워크의 가중을 변화시킴으로써 학습한다. 탐색 동작중의 각종 검출 정보를 뉴럴 네트워크에 입력하고, 중요도 레벨의 산출을 행하고, 중요도 레벨에 근거하여 팬·틸트의 각도를 설정함으로써 학습을 반영한 피사체 탐색을 행한다. 또한, 중요도 레벨에 근거한 팬·틸트 각도의 설정 이외에도, 예를 들면, 팬·틸트 구동(속도, 가속도, 움직이는 빈도)의 학습도 행한다.
(4) 피사체 등록
피사체 등록에 대한 학습에 대해 설명한다. 피사체 등록에서는, 유저의 기호에 맞는 피사체의 등록이나 랭크 부여 를 자동으로 행하기 위한 학습을 행한다. 학습으로서, 예를 들면, 얼굴 인증 등록이나 일반 물체 인식의 등록, 제스처나 음성 인식, 음향에 의한 씬 인식의 등록을 행한다. 인증 등록은 사람과 물체에 대한 인증 등록을 행하고, 화상 취득되는 횟수나 빈도, 수동 촬영되는 횟수나 빈도, 탐색중의 피사체가 나타내는 빈도로부터 랭크 설정을 행한다. 등록된 정보는, 각 뉴럴 네트워크를 사용한 판정의 입력으로서 등록되게 된다.
(5) 촬영 통지 제어
촬영 통지에 대한 학습에 대해 설명한다. 도 9의 S910에서 설명한 바와 같이, 촬영 직전에, 소정의 조건을 만족시켰을 때, 촬상장치가 촬영 대상이 되는 인물에 대해 촬영을 행하는 취지를 통지한 후에서 촬영하는 것도 행한다. 예를 들면, 팬·틸트를 구동함으로써 시각적으로 피사체의 시선을 유도하는 모션이나, 음성 출력부(218)로부터 발생되는 스피커 음이나, LED 제어부(224)에 의한 LED 점등광을 사용한다. 상기 통지의 직후에 피사체의 검출 정보(예를 들면, 웃는 정도, 시선 검출, 제스처)가 얻어졌는지 아닌지로, 검출 정보를 학습에 사용할 것인지를 판정하여, 뉴럴 네트워크의 가중을 변화시킴으로써 학습한다. 또는, 후술하는 방법에 의해 학습시킬 화상을 선택시키고, 화상에 포함되는 학습 정보를 기초로, 뉴럴 네트워크의 가중을 변화시킴으로써 학습한다. 화상에는, 촬영 직전에 어떻게 통지 동작이 행해졌는지의 정보가 매립되어 있고, 선택된 화상에 부가된 검출 정보나 상기 촬영 직전의 통지 동작 정보를 학습 데이터로서 학습한다. 촬영 직전의 각 검출 정보를 뉴럴 네트워크에 입력하고, 통지를 행할 것인지 아닌지의 판정이나, 각 통지 동작(오토(음향(음향 레벨/음향의 종류/타이밍), LED 빛(색, 점등 시간, 점멸 간격), 팬·틸트 모션(움직이는 방식, 구동속도))의 판정을 행한다. 각 통지 동작의 학습에 대해서는, 미리 준비된 통지 방법(음향, LED 빛, 팬·틸트 모션의 복합 동작) 중에서 어느 통지를 행할 것인지를 선택하는 학습을 행하는 방법이어도 된다. 또한, 음향, LED 빛, 팬·틸트 모션의 각 통지 동작 각각에 대해 각각의 뉴럴 네트워크를 설치해서 각각의 동작을 학습하는 방법이어도 된다.
(6) 저소비 전력 모드 제어
도 7, 도 8을 사용하여, 설명한 바와 같이 Main 프로세서(제1제어부(223))의 공급 전원을 ON/OFF하는 제어를 행하지만, 저소비 전력 모드로부터의 복귀 조건이나, 저소비 전력 상태로의 천이 조건의 학습이 행해진다.
우선, 저소비 전력 모드를 해제하는 조건의 학습에 대해 설명한다.
[탭 검출]
전술한 바와 같이, 소정 시간 timeA나 소정 임계값 ThreshA를 학습에 의해 변화시킨다. 상기한 탭 검출의 임계값을 낮춘 상태에서의 가 탭 검출도 행하고 있고, 탭 검출전에 가 탭 검출이 판정되고 있었는지 아닌지로, TimeA나 ThreshA의 파라미터를 검출하기 쉽도록 설정한다. 또한, 탭 검출후의 검출 정보로부터, 기동 요인은 아니었다고(전술한 피사체 탐색이나 자동 촬영 판정의 결과, 촬영 대상이 없다고) 판정되면, TimeA나 ThreshA의 파라미터를 검출하기 어렵도록 설정한다. 기동시의 촬영 대상이 있는지 아닌지의 판정은 후술하는 학습 방법에 의해 학습된 화상에 매립된 피사체 검출 정보에 의해 변화하게 된다.
[진동 상태 검출]
전술한 바와 같이, 소정 시간 timeB나 소정 임계값 ThreshB나 소정 횟수 CountB 등 학습에 의해 변화시킨다. 흔들림 상태에 의해 기동 조건에 들어간 경우, 기동을 행하지만, 기동후 소정 시간의 검출 정보로부터, 기동 요인은 아니었다고(전술한 피사체 탐색이나 자동 촬영 판정의 결과, 촬영 대상이 없다고) 판정되면, 흔들림 상태 판정의 파라미터를 변경하고, 기동하기 어렵도록 학습한다. 또한, 흔들림이 큰 상태에서의 촬영 빈도가 높다고 판정되면, 흔들림 상태 판정에 의해 기동해 쉽도록 설정한다. 기동시의 촬영 대상이 있는지 아닌지의 판정이나, 흔들림이 큰 상태에서의 촬영 빈도가 많은지의 판정은, 후술하는 학습 방법에 의해 학습된 화상에 매립된 피사체 검출 정보나 촬영시의 흔들림 정보 등에 의해 변화하게 된다.
[음향 검출]
유저가 검출하고 싶은 특정 음성이나, 특정 음향 씬이나, 특정 음향 레벨을, 예를 들면, 외부 기기(301)의 전용 어플리케이션과 통신을 거쳐, 수동으로 설정함으로써 학습을 할 수 있다. 또한, 복수의 검출 음을 음성처리부에 미리 설정해 두고, 후술하는 방법에 의해 학습시킬 화상을 선택시키고, 화상에 포함되는 촬영 전후의 음향 정보 등의 학습 정보를 기초로, 학습한다. 이에 따라, 기동 요인으로 하는 음향 판정(특정 음향 코맨드나, 「환성」 「박수」 등의 음향 씬)을 설정할 수 있고, 음향 검출에 의한 기동을 학습할 수 있다.
[환경 정보 검출]
유저가 기동하고 싶은 환경 정보 변화의 조건을, 예를 들면, 외부 기기(30)1의 전용 어플리케이션과 통신을 거쳐, 수동으로 설정함으로써 학습을 할 수 있다. 예를 들면, 온도나 기압이나 밝기나 습도나 자외선 량의 절대량이나 변화량의 특정 조건에 의해 기동시킬 수 있다. 또한, 각 환경 정보에 근거하여, 판정 임계값을 학습할 수도 있다. 환경 정보에 의한 기동후의 검출 정보로부터, 기동 요인은 아니었다고(전술한 피사체 탐색이나 자동 촬영 판정의 결과, 촬영 대상이 없다고) 판정되면, 각 판정 임계값의 파라미터를 검출하기 어렵도록 설정한다. 또는, 후술하는 학습 방법에 의해 학습된 화상에 매립된 각 환경의 정보로부터 학습함으로써, 환경 정보에 의한 기동을 학습할 수 있다. 예를 들면, 온도 상승시에 있어서 촬영된 화상을 많이 학습시킨 경우, 온도 상승시에 구동하기 쉽도록 학습이 되게 된다. 또한, 상기 각 파라미터는, 전지의 잔여 용량에 의해서도 변화한다. 예를 들면, 전지 잔량이 적을 때는 각종 판정에 들어가기 어려워지고, 전지 잔량이 많을 때는 각종 판정에 들어가기 쉬워진다. 구체적으로는, 유저가 반드시 촬상장치를 기동해 주었으면 싶은 요인이 아닌 조건인 흔들림 상태 검출 결과나, 음향 검출의 음향 씬 검출은, 전지 잔량에 의해 각 검출 판정의 하기 쉬움이 변화하게 된다.
다음에, 저소비 전력 상태로의 천이 조건의 학습에 대해 설명한다.
도 7에 나타낸 대로, 모드 설정 판정 704에서, 「자동 촬영 모드」 「자동 편집 모드」 「화상 자동 전송 모드」 「학습 모드」 「파일 자동 삭제 모드」의 어느 것도 아니라고 판정되면, 저소비 전력 모드에 들어간다. 각 모드의 판정 조건에 대해서는, 전술한 바와 같지만, 각 모드를 판정되는 조건에 대해서도 학습에 의해 변화한다. 자동 촬영 모드에 대해서는, 전술한 바와 같이, 에어리어마다의 중요도 레벨을 판정하여, 팬·틸트에서 피사체 탐색을 하면서 자동 촬영을 행한다. 에어리어마다의 중요도 레벨은, 에어리어 내의 인물이나 물체 등의 피사체의 수나 크기 등에 의해 산출되기 때문에, 주위에 피사체가 없는 것 같은 시츄에이션에서는, 모든 에어리어의 중요도 레벨이 낮아진다. 따라서, 예를 들면, 모두의 에어리어의 중요도 레벨이나, 각 에어리어의 중요도 레벨을 가산한 값이, 소정 임계값 이하인지 아닌지라고 하는 조건에 근거하여 자동 촬영 모드를 해제하도록 해도 된다. 이것에 의해, 주위에 피사체가 없는 것 같은 촬영의 필요성이 낮은 시츄에이션에 있어서, 자동 촬영 모드를 해제하고, 저소비 전력 상태로 이행할 수 있다. 이때, 자동 촬영 모드로 천이한 후의 경과 시간에 의해 소정 임계값을 낮추어 가도 된다. 자동 촬영 모드로 천이한 후 경과 시간이 커짐에 따라 저소비 전력 모드로 이행하게 쉽게 하고 있다. 또한, 전지의 잔여 용량에 의해 소정 임계값을 변화시킴으로써, 전지의 소모를 고려한 저소비 전력 모드 제어를 행할 수 있다. 예를 들면, 전지 잔량이 적을 때는 임계값이 작아지고, 전지 잔량이 많을 때는 임계값이 커진다. 여기에서, 전회 자동 촬영 모드로 천이한 후의 경과 시간과 촬영 매수에 의해, Sub 프로세서에 대하여, 다음번 저소비 전력 모드 해제 조건의 파라미터(경과 시간 임계값 TimeC)을 설정한다.
상기한 각 임계값은 학습에 의해 변화한다. 학습은, 예를 들면, 외부 기기(301)의 전용 어플리케이션과 통신을 거쳐, 수동으로 촬영 빈도나 기동 빈도 등을 설정함으로써, 학습을 할 수 있다. 또한, 촬상장치(101) 전원 버튼을 ON한 후, 전원 버튼을 OFF할 때까지의 경과 시간의 평균값이나 시간대마다의 분포 데이터를 축적하고, 각 파라미터를 학습하는 구성으로 하여도 된다. 그 경우, 전원 ON으로부터 OFF까지의 시간이 짧은 유저에 대해서는 저소비 전력 모드로부터의 복귀나, 저소비 전력 상태로의 천이의 시간 간격이 짧아지고, 전원 ON으로부터 OFF까지의 시간이 긴 유저에 대해서는 간격이 길어지도록 학습된다. 한, 탐색중인 검출 정보에 의해서도 학습된다. 학습에 의해 설정된 중요하게 되는 피사체가 많다고 판단되고 있는 동안에는, 저소비 전력 모드로부터의 복귀나, 저소비 전력 상태로의 천이의 시간 간격이 짧아지고, 중요하게 되는 피사체가 적은 동안에는, 간격이 길어지도록 학습된다.
(7) 파일 자동 삭제
파일 자동 삭제에 대한 학습에 대해 설명한다. 파일 자동 삭제에서는, 파일의 빈 용량이나 우선해서 삭제할 화상의 선택 등에 대해서 학습을 행한다. 후술하는 방법에 의해 학습시킬 화상을 선택시키고, 화상에 포함되는 학습 정보를 기초로, 뉴럴 네트워크의 가중을 변화시킴으로써 학습할 수 있다. 상기한 바와 같이, 상기 자동 촬영에서 설명한 바와 같이 각 화상에는, 유저의 기호를 판정된 스코어가 연산되어 있고, 스코어가 낮은 화상이 우선해서 기록매체(221)로부터 삭제된다. 또한, 스코어의 점수 뿐만 아니라, 기록매체(221) 내의 각 화상에 매립된 촬영 일시나, 후술하는 방법에서, 선택된 하이라이트 동화상(자동 편집된 동화상)의 편집 내용에 의해 학습한다. 예를 들면, 취득된 하이라이트 동화상이, 짧은 시간 간격으로 촬영된 화상이 많을 경우, 촬영된 일시가 오래된 파일이 우선적으로 삭제되지만, 긴 시간 간격으로 촬영된 화상을 포함하는 경우, 일시가 오래되어도 스코어가 높은 파일은 삭제하지 않도록 학습된다. 또는, 순차 소정 시간 간격으로, 기록매체(221) 내의 각 화상의 스코어를 재계산하도록 한다. 스코어 산출시의 뉴럴 네트워크에는 촬영 일시 정보도 입력되고 있고, 짧은 시간 간격으로 촬영된 화상이 많을 경우, 촬영 일시가 오래된 파일은 스코어가 낮아지도록 학습된다. 이에 따라, 우선적으로 삭제되게 되고, 긴 시간 간격으로 촬영된 화상을 포함하는 경우, 일시가 오래되어도 스코어는 낮아지지 않도록 학습됨으로써, 일시가 오래되어도 스코어가 높은 파일은 삭제하지 않도록 학습된다. 다른 예에서는, 후술하는 방법에서 학습시킬 화상이 선택되지만, 선택되는 화상의 일시가 비교적 새로운 것을 집중해서 선택되는 경우가 많을 경우, 촬영된 일시가 오래된 파일을 우선적으로 삭제된다. 그러나, 선택되는 화상의 일시가 오래된 것도 선택되는 경우가 많은 경우에는, 일시가 오래되어도 스코어가 높은 파일은 삭제하지 않도록 학습한다. 다른 예에서는, 촬영 빈도가 많아지도록 학습되고 있는 경우에는, 파일의 빈 영역을 많이 취하도록 파일이 자동 삭제되고, 촬영 빈도가 적어지도록 학습되고 있는 경우에는, 파일의 빈 영역은 적어도 되도록 파일의 자동 삭제가 행해진다. 다른 예에서는, 동화상의 촬영 빈도가 많아지도록 학습되고 있을 경우, 파일의 빈 영역을 많이 취하도록 파일이 자동 삭제되고, 정지화상의 촬영 빈도가 많아지도록 학습되고 있을 경우, 파일의 빈 영역은 적어지도록 파일의 자동 삭제가 행해진다.
(8) 상 흔들림 보정
상 흔들림 보정에 대한 학습에 대해 설명한다. 상 흔들림 보정은, 도 9의 S902에서 보정량을 산출하고, 보정량에 근거하여 S905에서 팬·틸트를 구동함으로써, 상 흔들림 보정을 행한다. 상 흔들림 보정에서는, 유저의 흔들림의 특징에 맞춘 보정을 행하기 위한 학습을 행한다. 촬영 화상에 대하여, 예를 들면, PSF(Point Spread Function)을 추정함으로써, 블러의 방향 및 크기를 추정하는 것이 가능하다. 도 9의 S912의 학습용 정보 생성에서는, 추정한 흔들림의 방향과 크기가, 정보로서 화상에 부가되어 있다. 도 7의 스텝 716에서의 학습 모드 처리 내에서는, 추정한 흔들림의 방향과 크기를 출력으로 하고, 촬영시의 각 검출 정보를 입력으로 하여, 흔들림 보정용의 뉴럴 네트워크의 가중을 학습시킨다. 촬영시의 각 검출 정보는, 촬영전 소정 시간에 있어서의 화상의 움직임 벡터 정보나, 검출한 피사체(사람이나 물체)의 움직임 정보, 진동 정보(자이로 출력, 가속도 출력, 촬상장치의 상태) 등이다. 그 밖에도, 환경 정보(온도, 기압, 조도, 습도), 음향 정보(음향 씬 판정, 특정 음성 검출, 음향 레벨 변화), 시간 정보(기동으로부터의 경과 시간, 전회 촬영시로부터의 경과 시간), 장소 정보(GPS 위치 정보, 위치 이동 변화량) 등도 입력에 추가해서 판정해도 된다. S902에서의 보정량 산출시에 있어서, 상기 각 검출 정보를 뉴럴 네트워크에 입력함으로써, 그 순간 촬영했을 때의 흔들림의 크기를 추정할 수 있고, 추정한 흔들림의 크기가 클 때는, 셔터 속도를 짧게 하는 것 등의 제어가 가능해진다. 또한, 추정한 흔들림의 크기가 클 때는 흔들림 화상으로 되어 버리므로 촬영을 금지하는 것 등의 방법도 취할 수 있다. 또한, 팬·틸트 구동 각도에는 제한이 있기 때문에, 구동 단부에 도달해 버리면 그 이상 보정을 행할 수 없지만, 상기한 바와 같이 촬영시의 흔들림의 크기와 방향을 추정함으로써, 노광중 흔들림 보정하기 위한 팬·틸트 구동에 필요한 범위를 추정할 수 있다. 노광중 가동 범위의 여유가 없는 경우에는, 흔들림 보정량을 산출하는 필터의 컷오프 주파수를 크게 하고, 가동 범위를 초과하지 않도록 설정함으로써, 큰 흔들림을 억제할 수도 있다. 또한, 가동 범위를 초과하는 것 같은 경우에는, 노광 직전에 팬·틸트의 각도를 가동 범위를 초과할 것 같은 방향과는 반대의 방향으로 회전한 후, 노광 개시함으로써, 가동 범위를 확보해서 흔들림이 없는 촬영을 행할 수도 있다. 이에 따라, 유저의 촬영시의 특징이나 사용 방식에 맞춰서 흔들림 보정을 학습할 수 있으므로, 흔들림이 없는 화상을 촬영할 수 있다. 또한, 전술한 「촬영 방법의 판정」에 있어서, 스냅 촬영을 행할 것인지 아닌지를 판정하여, 촬영전까지의 검출 정보로부터, 피사체가 흔들림 없이 촬영하기 위한 팬·틸트 구동속도를 추정하고, 피사체 흔들림 보정을 행해도 된다. 여기에서, 스냅 촬영은, 움직이고 있는 피사체는 흔들림이 없고, 움직이지 않고 있는 배경이 흐르는 촬영이다. 그 경우, 상기 각 검출 정보를 뉴럴 네트워크에 입력함으로써, 정지화상 촬영중의 구동속도를 추정한다. 학습은, 화상을 각 블록으로 분할하고, 각 블록의 PSF를 추정함으로써, 주 피사체가 위치하는 블록에서의 흔들림의 방향 및 크기를 추정하고, 그 정보를 기초로 학습할 수 있다. 또한, 후술하는 학습 방법에 의해, 선택된 화상의 배경의 흐름량에 근거하여, 배경의 흐름량을 학습할 수도 있다. 그 경우, 선택된 화상 중에서, 주 피사체가 위치하지 않는 블록에서의 흔들림의 크기를 추정하고, 그 정보를 기초로 유저의 기호를 학습할 수 있다. 학습한 원하는 배경 흐름량에 근거하여, 촬영시의 셔터 속도를 설정함으로써, 유저의 기호에 맞는 스냅 효과가 얻어지는 촬영을 자동으로 행할 수 있다.
(9) 화상 자동 전송
화상 자동 전송에 대한 학습에 대해 설명한다. 화상 자동 전송에서는, 기록매체(221)에 기록된 화상 중에서, 우선해서 전송할 화상의 선택 처리나 전송 빈도 등에 대해서 학습을 행한다. 후술하는 방법에 의해 학습시킬 화상을 선택시키고, 화상에 포함되는 학습 정보를 기초로, 뉴럴 네트워크의 가중을 변화시킴으로써 학습할 수 있다. 상기한 바와 같이, 상기 자동 촬영에서 설명한 바와 같이 각 화상에는, 유저의 기호를 판정된 스코어가 연산되고 있고, 스코어가 높은 화상이 우선해서 화상 전송한다. 또한, 과거에 화상 전송한 화상에 대응한 학습 정보도 화상 전송 판정에 사용한다. 후술하는 방법에서 학습시킬 화상이 선택되면, 화상에 포함되는 학습 정보(특징량)의 무엇을 중요시할 것인지가 설정되고, 과거에 화상 전송한 화상이 같은 것 같은 특징량을 포함하는 경우가 많은 경우, 다른 특징량을 포함하고 또한 스코어가 높은 화상을 전송하도록 설정한다. 또한, 촬상장치의 각 상태에 따라, 화상 전송 빈도도 변화한다. 전지의 잔여 용량에 따라 변화한다. 예를 들면, 전지 잔량이 적을 때는, 화상 전송되기 어렵고, 전지 잔량이 많을 때는, 화상 전송하기 쉬워지도록 설정된다. 구체적으로 예를 들면, 전회 자동 전송되었을 때부터의 경과 시간과, 그 경과 시간의 사이에서 촬영된 화상 중에서 가장 높은 스코어를 승산하고, 승산한 값이 임계값을 초과했을 때에 화상 전송하도록 해 두고, 임계값을 전지 잔량에 의해 변화하도록 하는 구성을 취해도 실현할 수 있다. 다른 예에서는, 촬상장치(101)이 설정된 촬영 빈도에 따라, 화상 자동 전송의 빈도를 변경한다. 촬영 빈도가 많아지는 학습되어 있는 경우에는, 화상 자동 전송의 빈도도 많아지도록 로 설정되고, 촬영 빈도가 적어지도록 학습되어 있는 경우에는, 화상 자동 전송의 빈도도 적어지도록 설정된다. 이때 촬영 빈도에 따라 상기 임계값을 변화시킴으로써 촬영 빈도 설정에 따른 화상 전송 빈도를 변경할 수 있다. 다른 예에서는, 파일(기록매체(221))의 빈 용량에 따라, 화상 자동 전송의 빈도를 변경하는 것도 행해진다. 파일의 빈 용량이 많은 경우에는, 화상 자동 전송의 빈도는 적고, 파일의 빈 용량이 적은 경우에는, 화상 자동 전송 빈도가 많아지도록 설정된다. 이때 파일 빈 용량에 의해 상기 임계값을 변화시킴으로써 파일 빈 용량에 따른 화상 전송 빈도를 변경할 수 있다.
다음에, 학습 방법에 대해 설명한다.
학습 방법으로서는, 「촬상장치 내의 학습」과 「통신 기기와의 연계에 의한 학습」이 있다.
촬상장치 내 학습의 방법에 대해서, 이하 설명한다.
(1) 유저에 의한 촬영 지시시의 검출 정보에 의한 학습
도 9의 스텝 S907 내지 S913에서 설명한 바와 같이, 본 실시형태에 있어서는, 촬상장치(101)은, 수동 촬영과 자동 촬영의 2개의 촬영을 행할 수 있다. 스텝 S907에서 수동조작에 의한 촬영 지시(상기 설명한 바와 같이, 3개의 판정에 근거해서 행한다)이 있었던 경우에는, 스텝 S912에 있어서, 촬영 화상은 수동으로 촬영된 화상이라는 정보가 부가된다. 또한, 스텝 S909에서 자동 촬영 ON으로 판정되어 촬영된 경우에 있어서는, 스텝 S912에 있어서, 촬영 화상은 자동으로 촬영된 화상이다하는 정보가 부가된다.
여기에서 수동 촬영될 경우, 유저가 원하는 피사체, 원하는 씬, 원하는 장소나 시간 간격을 기초로 촬영되었을 가능성이 매우 높다. 따라서, 수동 촬영시에 얻어진 각 특징 데이터나 촬영 화상의 학습 정보를 기초로 한 학습이 행해지도록 한다.
또한, 수동 촬영시의 검출 정보로부터, 촬영 화상에 있어서의 특징량의 추출이나 개인 인증의 등록, 개인마다의 표정의 등록, 사람의 조합의 등록에 관해서 학습을 행한다. 또한, 피사체 탐색시의 검출 정보로부터는, 예를 들면, 개인등록된 피사체의 표정으로부터, 근처의 사람이나 물체의 중요도를 변경하도록 학습을 행한다. 또한, 도17 내지 도22를 사용해서 후술하는 「유저가 손으로 팬·틸트를 회전시키는 것」에 의해서도, 화각의 변화가 지시된 경우에는, 회전후에 화각 내에 존재하는 피사체를 학습한다. 이것도, 수동 조작의 검출 정보에 의한 학습의 일부다.
(2 )피사체 탐색시의 검출 정보에 의한 학습
피사체 탐색 동작중에 있어서, 개인 인증 등록되어 있는 피사체가, 어떤 인물, 물체, 씬과 동시에 찍히고 있는지를 판정하여, 동시에 화각 내에 찍히고 있는 시간 비율을 연산해 둔다.
예를 들면, 개인 인증 등록 피사체의 인물 A가 개인 인증 등록 피사체의 인물 B과 동시에 찍히고 있는 시간 비율이 소정 임계값보다도 높을 경우 중요도가 높다고 판정할 수 있다. 이 때문에, 인물 A와 인물 B이 화각 내에 들어가는 경우에는, 자동 촬영 판정의 점수가 높아지도록 각종 검출 정보를 학습 데이터로서 보존해서 학습 모드 처리 716에서 학습한다.
다른 예에서는, 개인 인증 등록 피사체의 인물 A가 일반 물체 인식에 의해 판정된 피사체 「고양이」와 동시에 찍히고 있는 시간 비율이 소정 임계값보다도 높을 경우, 중요도가 높다고 판정할 수 있다. 이 때문에, 인물 A와 「고양이」가 화각 내에 들어가는 경우에는, 자동 촬영 판정의 점수가 높아지도록 각종 검출 정보를 학습 데이터로서 보존한다. 그리고, 학습 모드 처리 716에서 학습한다.
이렇게, 탐색중인 피사체가 나타나는 빈도가 높을 경우에, 자동 촬영 판정의 점수가 높아지도록 하면, 개인 인증 등록되어 있는 피사체의 근처의 사람이나 물체의 중요도도, 높아지도록 변경할 수 있다.
또한, 개인 인증 등록 피사체의 인물 A의 웃는 정도를 검출하거나, 표정을 검출에 의해 「기쁨」 「놀람」 등이 검출되었을 때, 동시에 찍히고 있는 피사체는 중요한 것 같이 학습되는 처리가 행해진다. 또한, 표정이 「분노」 「진지한 얼굴」 등이 검출되었을 때의, 동시에 찍히고 있는 피사체는 중요할 가능성이 낮으므로 학습하는 것은 하지 않는 것 등의 처리가 행해진다.
다음에, 본 실시형태에 있어서의 외부 통신 기기와의 연계에 의한 학습을 설명한다.
본 실시형태에 있어서의 외부 통신 기기와의 연계에 의한 학습에는, 이하의 방법이 있다.
(3) 외부 통신 기기에서 화상을 취득한 것에 의한 학습
도 3에서 설명한 바와 같이, 촬상장치(101)과 외부 기기(301)은, 통신 302, 303의 통신 수단을 갖고 있다. 주로 통신 302에 의해 화상의 송수신이 행해지고, 외부 기기(301) 내의 전용의 어플리케이션을 거쳐, 촬상장치(101) 내의 화상을 외부 기기(301)에 통신 취득할 수 있다. 또한, 촬상장치(101) 내의 보존되어 있는 화상 데이터의 섬네일 화상을 외부 기기(301) 내의 전용의 어플리케이션을 거쳐, 열람가능한 구성이다. 이에 따라, 유저는 섬네일 화상 중에서, 자신이 마음에 든 화상을 선택하고, 화상 확인하고, 화상 취득 지시를 조작함으로써 외부 기기(301)에 화상 취득할 수 있다.
이때, 유저가 화상을 선택하여 송신 지시하여 취득하고 있으므로, 취득된 화상은 유저가 원하는 화상일 가능성이 매우 높다. 따라서 취득된 화상은, 학습해야 할 화상이라고 판정하여, 취득된 화상의 학습 정보를 기초로 학습함으로써 유저가 원하는 각종 학습을 행할 수 있다.
조작 예를 설명한다. 스마트 디바이스인 외부 기기(301)의 전용의 어플리케이션을 거쳐, 촬상장치(101) 내의 화상을 열람하고 있는 예를 도16에 나타낸다. 표시부(407)에 촬상장치 내에 보존되어 있는 화상 데이터의 섬네일 화상(1604 내 지1609)을 표시하고 있고, 유저는 자신이 마음에 든 화상을 선택하여 화상 취득을 행할 수 있다. 이때, 표시 방법을 변경하는 표시 방법 변경부(1601, 1602, 1603)이 설치되어 있다. 1601을 누르면 표시 순서가 일시 우선 표시 모드로 변경되고, 촬상장치(101) 내 화상의 촬영 일시의 순서로 표시부(407)에 화상이 표시된다(예를 들면, 1604은 일시가 새롭고, 1609이 일시가 오래되도록 표시된다). 1602을 누르면 추천 화상 우선 표시 모드로 변경된다. 도 9 스텝 S912에서 연산한 각 화상에 대해 유저의 기호를 판정한 스코어에 근거하여, 촬상장치(101) 내 화상의 스코어의 높은 순서로 표시부(407)에 화상이 표시된다(예를 들면, 1604은 스코어가 높고, 1609이 스코어는 낮은 것 같이 표시된다). 1603을 누르면 인물이나 물체 피사체를 지정할 수 있고, 이어서 특정한 인물이나 물체 피사체를 지정하면 특정한 피사체 민을 표시할 수도 있다.
1601 내지 1603은 동시에 설정을 ON할 수도 있고, 예를 들면, 모든 설정이 ON되어 있을 경우, 지정된 피사체 만을 표시하고, 또한, 촬영 일시가 새로운 화상이 우선되고, 또한, 스코어가 높은 화상이 우선되어, 표시되게 된다.
이렇게, 촬영 화상에 대해서도 유저의 기호를 학습하고 있기 때문에, 촬영된 대량의 화상 중에서 간단한 확인 작업으로 유저가 원하는 화상 만을 간단하게 추출하는 것이 가능하다.
(4) 외부 통신 기기를 거쳐, 화상에 판정값을 입력하는 것에 의한 학습
상기에서 설명한 바와 같이, 촬상장치(101)과 외부 기기(301)은, 통신 수단을 갖고 있고, 촬상장치(101) 내의 보존되어 있는 화상을 외부 기기(301) 내부의 전용의 어플리케이션을 거쳐, 열람가능한 구성이다. 여기에서, 유저는, 각 화상에 대해 점수 부여를 행하는 구성으로 하여도 된다. 유저가 좋아한다고 생각한 화상에 대해 높은 점수(예를 들면, 5점)을 부여하거나, 좋아하지 않는다고 생각한 화상에 대해 낮은 점수(예를 들면, 1점)을 부여할 수 있고, 유저의 조작에 의해, 촬상장치가 학습해 가도록 하는 구성으로 한다. 각 화상의 점수는, 촬상장치 내에서 학습 정보와 함께 재학습에 사용한다. 지정한 화상 정보로부터의 특징 데이터를 입력했을 때의 뉴럴 네트워크의 출력이, 유저가 지정한 점수에 근접하도록 학습된다.
본 실시형태에서는 통신 기기(301)을 거쳐, 촬영된 화상에 유저가 판정값을 입력하는 구성으로 했지만, 촬상장치(101)을 조작하여, 직접, 화상에 판정값을 입력하는 구성으로 하여도 된다. 그 경우, 예를 들면, 촬상장치(101)에 터치패널 디스플레이를 설치하고, 터치패널 디스플레이 화면 표시부에 표시된 GUI 버튼을 유저가 눌러, 촬영된 화상을 표시하는 모드로 설정한다. 그리고, 유저는 촬영된 화상을 확인하면서, 각 화상에 판정값을 입력하는 것 등의 방법에 의해, 같은 학습을 행할 수 있다.
(5) 외부 통신 기기 내의 보존되어 있는 화상을 해석하는 것에 의한 학습
외부 기기(301)은, 기억부(404)을 갖고, 기억부(404)에는 촬상장치(101)에서 촬영된 화상 이외의 화상도 기록되는 구성으로 한다. 이때, 외부 기기(301) 내에 보존되어 있는 화상은, 유저가 열람하기 쉽고, 공중 회선 제어부(406)을 거쳐, 공유 서버에 화상을 업로드하는 것도 용이하기 때문에, 유저가 원하는 화상이 많이 포함될 가능성이 매우 높다.
외부 기기(301)은 전용의 어플리케이션을 거쳐, 기억부(404)에 보존되어 있는 화상을, 촬상장치(101) 내에서의 학습 처리부(219)와 동등한 학습 처리를 제어부(411)에 의해 처리가능한 구성으로 하여도 된다. 이 경우, 처리된 학습용 데이터를 촬상장치(101)에 통신함으로써, 학습하는 구성으로 할 수 있다. 또한, 촬상장치(101)에 학습시키고 싶은 화상이나 데이터를 송신하고, 촬상장치(101) 내에서 학습하도록 하는 구성으로 하여도 된다.
또한, 전용의 어플리케이션을 거쳐, 기억부(404)에 보존되어 있는 화상 중에서, 학습시키고 싶은 화상을 유저가 선택하고, 학습하는 구성으로 할 수도 있다.
(6) 외부 통신 기기에서, SNS의 서버에 업로드된 정보로부터의 학습
사람과 사람의 관계에 주안점을 둔 사회적인 네트워크를 구축할 수 있는 서비스나 웹 사이트인 소셜·네트워킹·서비스(SNS)에 있어서의 정보를 학습에 사용하는 방법에 대해 설명한다. 화상을 SNS에 업로드할 때에, 스마트 디바이스로부터 화상에 관한 태그를 입력한 후서, 화상과 함께 송신하는 기술이 있다. 또한, 다른 유저가 업로드한 화상에 대해 좋고 나쁨을 입력하는 기술도 있고, 다른 유저가 업로드한 화상이, 외부 기기(301)을 소유하는 유저가 원하는 사진인지도 판정할 수 있다.
외부 기기(301) 내에 다운로드된 전용의 SNS 어플리케이션에서, 상기한 바와 같이 유저가 스스로 업로드한 화상과 화상에 관한 정보를 취득할 수 있다. 또한, 유저가 다른 유저가 업로드한 화상에 대해 좋아하는지 아닌지를 입력함으로써, 유저가 원하는 화상이나 태그 정보를 취득할 수도 있다. 그들 화상이나 태그 정보를 해석하여, 촬상장치(101) 내에서 학습 세트할 수 있게 하는 구성으로 한다.
상기한 바와 같이 유저가 업로드한 화상이나, 유저를 좋아하는 것으로 판정한 화상을 취득하고, 촬상장치(101) 내에서의 학습 처리부(219)와 동등한 학습 처리를 제어부(411)에 의해 처리가능한 구성으로 하여도 된다. 이에 따라, 처리된 학습용 데이터를 촬상장치(101)에 통신함으로써, 학습하는 구성으로 할 수도 있다. 혹은, 촬상장치(101)에 학습시키고 싶은 화상을 송신하고, 촬상장치(101) 내에서 학습하는 것 같은 구성으로 하여도 된다.
또한, 태그 정보로부터, SNS 내에 설치된 화상 필터로부터, 도 7의 자동 편집 모드 처리 712나 도 9의 편집 S911의, 색 변환 필터 효과가 변화하도록 학습한다.
또는, 태그 정보에 설정된 피사체 정보로부터, 유저가 좋아할 것 같은 피사체 정보를 추정하고, 뉴럴 네트워크에 입력할 검출해야 할 피사체로서 등록하는 것에 의한 학습을 행한다. 이 피사체 정보는, 예를 들면, 개, 고양이 등 피사체 물체 정보나, 비치 등의 씬 정보나, 스마일 등의 표정 정보 등이 생각된다.
또한, 상기 SNS에서의 태그 정보(화상 필터 정보나 피사체 정보)의 통계값으로부터, 세계에서 지금 현재 유행하고 있는 화상 정보를 추정하고, 촬상장치(101) 내에서 학습 세트할 수 있도록 하는 구성으로 할 수도 있다.
(7) 외부 통신 기기에서, 파라미터를 변경하는 것에 의한 학습
상기에서 설명한 바와 같이, 촬상장치(101)과 외부 기기(301)은, 통신 수단을 갖고 있고, 촬상장치(101) 내에 현재 설정되어 있는 학습 파라미터를 외부 기기(301)에 통신하고, 외부 기기(301)의 기억부(404)에 보존할 수 있다. 학습 파라미터로서는, 예를 들면, 뉴럴 네트워크의 가중이나, 뉴럴 네트워크에 입력하는 피사체의 선택 등이 생각된다. 또한, 외부 기기(301) 내의 전용의 어플리케이션을 거쳐, 전용의 서버에 세트된 학습 파라미터를 공중 회선 제어부(406)을 거쳐 취득하고, 촬상장치(101) 내의 학습 파라미터로 설정할 수도 있는 구성으로 한다. 이에 따라, 어떤 시점에서의 파라미터를 외부 기기(301)에 보존해 두고, 촬상장치(101)에 설정함으로써 학습 파라미터를 되돌릴 수도 있고, 다른 유저가 갖는 학습 파라미터를 전용의 서버을 거쳐 취득하여 자신의 촬상장치(101)로 설정할 수도 있다.
또한, 외부 기기(301)의 전용의 어플리케이션을 거쳐, 유저가 등록한 음성 코맨드나 인증 등록, 제스처를 등록할 수 있도록 하여도 되고, 중요한 장소를 등록해도 된다. 이들 정보는, 자동 촬영 모드 처리(도 9)에서 설명한 촬영 트리거가 자동 촬영 판정의 입력 데이터로서 취급된다.
또한, 촬영 빈도나 기동 간격, 정지화상 동화상 비율이나 원하는 화상 등 설정할 수 있는 구성으로 하고, <저소비 전력 모드 제어>에서 설명한 기동 간격이나, <자동 편집>에서 설명한 정지화상 동화상 비율 등의 설정을 행해도 된다.
(8) 외부 통신 기기에서, 화상을 수동 편집된 정보로부터의 학습
외부 기기(301)의 전용의 어플리케이션에 유저의 조작에 의해 수동으로 편집할 수 있는 기능을 갖게 하고, 편집 작업의 내용을 학습에 피드백할 수도 있다. 예를 들면, 화상 효과 부여의 편집이 가능하고, 화상의 학습 정보에 대하여, 수동으로 편집한 화상 효과 부여가 판정되도록, 자동 편집의 뉴럴 네트워크를 학습시킨다. 화상 효과는, 예를 들면, 트리밍 처리, 회전 처리, 슬라이드, 줌, 페이드, 색 변환 필터 효과, 시간, 정지화상 동화상 비율, BGM이 생각된다.
여기에서, 유저 자신이 촬영(1)이나 화상 선택((3) 내지 (8))한 학습의 경우, 유저가 의도적으로 조작하였기 때문에, 유저의 기호를 반영시키는 것에 대해 신뢰성이 있는 학습일 가능성이 높다. 그러나, (2) 피사체 탐색시의 검출 정보에 의한 학습은, 유저가 의도시에 조작한 것에 의한 학습이 아니기 때문에, 유저가 원하지 않는 학습이 행해질 가능성이 포함되어 있다. 예를 들면, 탐색중에 화상 정보로부터, 개인 인증 등록되고 있는 피사체와 동시에 찍히고 있는 다른 인물이나 물체나 씬을 학습하지만, 빈번하게 동시에 찍히고 있는 피사체가 반드시 유저의 기호라고는 할 수 없다. 따라서, 유저가 의도적으로 조작한 것에 의한 학습이 아닌 (2) 경우보다도, 유저가 의도적으로 촬영, 또는 화상 선택한 경우의 학습((1), (3) 내지 (8)) 쪽을 우선적으로 학습시킨다.
학습용의 데이터는, 촬영시 또는 탐색중에 태그 정보로서 기록된 각종 데이터(화상 정보나 진동 정보나 환경 정보나 음향 정보나 장소 정보 등)이며, 학습에 반영하는 경우에는, 이 각종 데이터를 리스트화한 형식으로 보존하고 있다. 학습을 위한 데이터 군의 수는 고정값으로 정해진 수를 갖게 한다. 학습을 위한 데이터 군은, 유저가 의도적으로 행한 학습 데이터인 영역과, 유저가 의도적이 아닌 학습 데이터인 영역의 2개의 영역으로 분할하고 있고, 영역의 데이터 수의 비율은, 유저가 의도적으로 행한 학습 데이터 영역 쪽이 커지도록 하는 비율로 해 둔다. 새로운 학습 반영 지시가 행해진 경우, 각 영역에 대응한 학습 데이터로부터 삭제하고, 새로운 학습 데이터를 추가한다. 예를 들면, 유저가 의도적으로 행한 학습 데이터를 2개 추가하는 경우에는, 유저가 의도적으로 행한 학습 데이터 영역으로부터 2개의 데이터를 삭제하고, 새로운 2개의 데이터를 추가해서 재학습한다.
이러한 구성으로 함으로써 유저가 의도적으로 조작한 것에 의한 학습이 아닌 (2)일 때보다도, 유저가 의도적으로 촬영, 또는 화상 선택한 경우의 학습((1), (3) 내지 (8)) 쪽을 우선적으로 학습시킬 수 있다.
또는, 학습용의 각종 데이터 중에는, 학습 데이터가 생성된 일자 시각이 관리되고 있고, 학습 데이터가 생성된 일자 시각부터의 경과 시간에 따른 가중 계수 La를 계산한다. 가중 계수 La는 경과 시간이 커질수록 작아지도록 갱신되어 간다. 또한, 유저가 의도적으로 행한 학습 데이터인가, 유저가 의도적적 아닌 학습 데이터에 의한 가중 계수 Lb도, 각 학습 데이터에 대응해서 관리된다. 가중 계수 Lb은, 유저가 의도적으로 행한 학습 데이터의 경우, 유저가 의도적이 아닌 학습 데이터보다도 커지도록 설정된다. 또한, 유저가 의도적으로 행한 학습 데이터 중에서도, (1), (3) 내지 (8)의 어느 학습인지에 따라 가중 계수 Lb을 변경해도 된다.
새로운 학습 데이터가 추가로 될 경우, 현재의 학습 데이터 군 중에서, 가중 계수 La와 Lb을 승산한 값이 가장 작은 학습 데이터로부터 우선해서 데이터를 삭제한 후, 추가 데이터를 삽입하고, 갱신된 학습 데이터 군을 기초로 기계학습을 행한다.
이러한 구성으로 함으로써, 유저가 의도적으로 조작한 것에 의한 학습이 아닌 (2)일 때보다도, 유저가 의도적으로 촬영, 또는 화상 선택한 경우의 학습((1), (3) 내지 (8))쪽을 우선적으로 학습시킬 수 있다.
만약, 도 1 내지 도 6의 구성에서는, 촬상장치측에 화면이 없어 우선도의 설정이 어렵고, 또한, 외부 장치측의 메뉴에서 설정할 경우에는 유저의 수고를 필요로 한다. 그러나, 우선도의 플래그 부여를 위한 조작가 아니고, 촬영 처리를 위한 조작이나 편집 처리를 위한 조작에 근거하여, 자동적으로 우선도의 플래그 부여를 하면, 유저의 수고를 삭감할 수 있다. 또한, 촬영 화상을 사용해서 자동으로 우선도를 평가할 경우, 예를 들면, 소정 시간 간격으로 촬영하고 있는 화상을 평가할 경우, 같은 것만 촬영해 버리지만 반드시 주요한 피사체가 아닐 가능성이 있어, 유저의 의도가 반영되지 않는 경우가 있다. 이에 대하여, 본 실시형태에서는, 유저가 의도적으로 행한 처리에 근거하는 우선도의 플래그 부여를 위해, 유저의 의도를 충분히 반영한 것이 될 가능성이 높다.
다음에, 학습 처리 시퀀스에 대해 설명한다.
도 7의 스텝 704의 모드 설정 판정에서, 학습 처리를 행해야 할 것인지 아닌지를 판정하여, 학습 처리를 행할 경우, 학습 모드라고 판정되어, 스텝 716의 학습 모드 처리를 행한다.
학습 모드의 판정 조건을 설명한다. 학습 모드로 이행할 것인지 아닌지는, 전회 학습 처리를 실시한 후의 경과 시간과, 학습에 사용할 수 있는 정보의 수, 통신 기기를 거쳐 학습 처리 지시가 있었는지 등으로부터 판정된다. 스텝 704의 모드 설정 판정 처리 내에서 판정되는, 학습 모드로 이행해야 할 것인지 아닌지의 판정 처리 플로우를 도 14에 나타낸다.
스텝 704의 모드 설정 판정 처리 내에서 학습 모드 판정이 개시 지시되면, 도 14의 처리가 스타트한다. 스텝 1401에서는, 외부 기기(301)로부터의 등록 지시가 있는지 아닌지를 판정한다. 여기에서의 등록은, 상기 설명한 학습하기 위한 등록 지시가 있었는지 어떤지의 판정이다. 예를 들면, <통신 기기에서 화상 취득된 화상 정보에 의한 학습>이나, <통신 기기를 거쳐, 화상에 판정값을 입력하는 것에 의한 학습>이 있다. 또한, <통신 기기 내의 보존되어 있는 화상을 해석하는 것에 의한 학습> 등이 있다. 스텝 1401에서, 외부 기기로부터의 등록 지시가 있었을 경우, 스텝 S1410로 진행하여, 학습 모드 판정을 TRUE로 해서, 스텝 716의 처리를 행하도록 설정한다. 스텝 S1401에서 외부 기기로부터의 등록 지시가 없을 경우, 스텝 1402로 진행한다. 스텝 1402에서는 외부 기기로부터의 학습 지시가 있는지 아닌지를 판정한다. 여기에서의 학습 지시는 <통신 기기에서, 촬상장치 파라미터를 변경하는 것에 의한 학습>과 같이, 학습 파라미터를 세트하는 지시가 있었는지 어떤지의 판정이다. 스텝 1402에서, 외부 기기로부터의 학습 지시가 있었을 경우, 스텝 S1410로 진행하여, 학습 모드 판정을 TRUE로 하고, 스텝 716의 처리를 행하도록 설정하고, 학습 모드 판정 처리를 종료한다. 스텝 1402에서 외부 기기로부터의 학습 지시가 없을 경우, 스텝 1403으로 진행한다.
스텝 1403에서는, 예정된 학습 조건을 만족하고 있는지를 판정한다. 예를 들면, 매일 24:00에 학습한다고 하는 예정 시간에 근거한 학습 조건을 사용해도 된다. 이것에 의해, 정기적인 학습 실행이 행해지기 때문에, 학습 결과의 신선함을 일정하게 유지할 수 있다. 다른 예로서, 촬상장치(101)을 전원 버튼 누름에 의한 전원 OFF가 지시된 것을 조건으로 하여도 된다. 그 때는, 학습 처리가 종료한 후, 전원을 OFF로 한다. 학습 처리는 일반적으로 긴 처리 시간이 필요하게 되지만, 전원 OFF시와 같은 유저가 잠시동안 촬영 등에 사용하지 않는 것이 상정되는 타이밍에서 실행함으로써, 유저의 사용을 방해하지 않고 행할 수 있다. 예정 학습 조건을 만족하고 있는 경우에는, 스텝 S1410으로 진행한다. 조건을 만족하지 않고 있는 경우에는 스텝 1404로 진행한다. 스텝 1404에서는, 촬영이 행해질 가능성을 판정한다. 상기한 바와 같이, 학습 처리에는 시간이 걸리기 때문에, 촬영을 행할 가능성이 있는 타이밍에서의 실시는 피하는 쪽이 낫다. 따라서, 예를 들면, 수동 촬영이 과거 일정 시간 이상 지시되지 않고 있는, 자동 촬영 모드에 있어서 에어리어의 중요도 레벨이 소정 이하라고 하는 조건에 근거하여, 잠시동안의 사이에 촬영이 행해질 가능성이 낮은 것을 판정한다. 촬영 가능성이 낮다고 판정된 경우에는, 스텝 1405로 진행한다. 그렇지 않은 경우에는, 스텝 1411로 진행하여, 학습 모드 판정을 FALSE로 한다. 스텝 1405에서는, 전회 학습 처리(뉴럴 네트워크의 가중의 재계산)이 행해진 후의 경과 시간 timeN을 취득하고, 스텝 S1406으로 진행한다. 스텝 1406에서는, 학습할 신규의 데이터 수 DN(전회 학습 처리가 행해진 후의 경과 시간 timeN의 사이에, 학습하도록 지정된 화상의 수)을 취득하고, 스텝 1407로 진행한다. 스텝 1407에서는, TimeN으로부터 임계값 DT를 연산한다. 예를 들면, TimeN이 소정값보다도 작을 경우의 임계값 DTa가, 소정값보다도 클 경우의 임계값 DTb보다도 크게 설정되어 있고, 시간 경과에 의해, 임계값이 작아지도록 설정하고 있다. 이에 따라, 학습 데이터가 적은 경우에 있어서도, 시간 경과가 크면 다시 학습하도록 함으로써, 사용 시간에 따라 촬상장치가 학습 변화하기 쉽게 하고 있다.
스텝 1407에서 임계값 DT를 연산하면, 스텝 1408로 진행하여, 학습할 데이터 수 DN이, 임계값 DT보다도 큰지 아닌지를 판정한다. DN이, 임계값 DT보다도 클 경우, 스텝 1409로 진행하여, DN을 0으로 설정한 후, 스텝 1410로 진행하여, 학습 모드 판정을 TRUE로 하고, 스텝 716의 처리을 행하도록 설정하고, 학습 모드 판정 처리를 종료한다.
스텝 1408에서 DN이, 임계값 DT 이하인 경우, 스텝 1411로 진행한다. 외부 기기로부터의 등록 지시도, 외부 기기로부터의 학습 지시도 없고, 또한 학습 데이터 수도 소정값 이하이므로, 학습 모드 판정을 FALSE로 하여, 스텝 716의 처리는 행하지 않도록 설정하고, 학습 모드 판정 처리를 종료한다.
다음에, 학습 모드 처리(스텝 716) 내의 처리에 대해 설명한다. 학습 모드 처리의 상세한 플로우를 도 15에 나타낸다.
도 7의 스텝 715에서의 학습 모드로 판정되어, 스텝 716으로 진행되면, 도 15의 처리가 스타트한다. 스텝 1501에서는, 외부 기기(301)로부터의 등록 지시가 있는지 아닌지를 판정한다. 스텝 1501에서, 외부 기기로부터의 등록 지시가 있었을 경우, 스텝 1502로 진행한다. 스텝 1502에서는, 각종 등록 처리를 행한다.
각종 등록은, 뉴럴 네트워크에 입력할 특징의 등록이며, 예를 들면, 얼굴 인증의 등록이나, 일반 물체 인식의 등록이나, 음향 정보의 등록이나, 장소 정보의 등록 등이다.
등록 처리를 종료하면, 스텝 1503로 진행하여, 스텝 1502에서 등록된 정보로부터, 뉴럴 네트워크에 입력할 요소를 변경한다.
스텝 1503의 처리를 종료하면, 스텝 1507로 진행한다.
스텝 1501에서 외부 기기(301)로부터의 등록 지시가 없는 경우, 스텝 1504로 진행하여, 외부 기기(301)로부터의 학습 지시가 있는지 아닌지를 판정한다. 외부 기기로부터의 학습 지시가 있었을 경우, 스텝 1505로 진행하여, 외부 기기로부터 통신된 학습 파라미터를 각 판정기(뉴럴 네트워크의 가중 등)에 설정하고, 스텝 1507로 진행한다.
스텝 1504에서 외부 기기로부터의 학습 지시가 없을 경우, 스텝 1506에서 학습(뉴럴 네트워크의 가중의 재계산)을 행한다. 스텝 1506의 처리에 들어가는 것은, 도 14을 사용하여 설명한 것 같이, 학습할 데이터 수 DN이 임계값을 초과하여, 각 판정기의 재학습을 행할 수 있는 조건이다. 오차 역전파법 또는, 구배 강하법 등의 방법을 사용해서 재학습시키고, 뉴럴 네트워크의 가중을 재계산하고, 각 판정기의 파라미터를 변경한다. 학습 파라미터가 설정되면, 스텝 1507로 진행한다.
스텝 1507에서는, 파일 내의 화상에 대하여, 재차, 스코어를 부여한다. 본 실시형태에 있어서는, 학습 결과에 근거하여 파일(기록매체(221)) 내에 보존되어 있는 모든 촬영 화상에 스코어를 부여해 두고, 부여된 스코어에 따라, 자동 편집이나 자동 파일 삭제를 행하는 구성으로 되어 있다. 따라서, 재학습이나 외부 기기로부터의 학습 파라미터의 세트가 행해진 경우에는, 촬영된 화상의 스코어도 갱신을 행할 필요가 있다. 따라서, 스텝 1507에서는, 파일 내에 보존되어 있는 촬영 화상에 대해 새로운 스코어를 부여하는 재계산이 행해지고, 처리가 종료하면 학습 모드 처리를 종료한다.
본 실시형태에 있어서는, 유저가 좋아하고 있다고 생각되는 씬을 추출하고, 그것의 특징을 학습하고, 자동 촬영이나 자동 편집이라고 하는 동작에 반영시킴으로써, 유저가 원하는 영상을 제안하는 방법을 설명했지만, 본 발명은 이 용도에 한정되지 않는다. 예를 들면, 굳이 유저 자신의 기호와는 다른 영상을 제안하는 용도에 사용할 수도 있다. 그것의 실현 방법의 예로서는, 이하와 같다.
(1) 기호를 학습시킨 뉴럴 네트워크를 사용하는 방법
학습에 대해서는, 상기 설명한 바와 같이 유저의 기호의 학습을 실시한다. 그리고, 「자동 촬영」의 S908에 있어서, 뉴럴 네트워크의 출력값이, 학습 데이터인 유저의 기호와는 다른 것을 나타내는 값일 때에 자동 촬영한다. 예를 들면, 유저가 좋아하는 화상을 교사 화상으로 하고, 교사 화상과 유사한 특징을 나타낼 때에 높은 값이 출력되도록 학습을 시킨 경우에는, 반대로 출력값이 소정 이상 낮은 것을 조건으로 하여 자동 촬영을 행한다. 또한, 마찬가지로 피사체 탐색 처리나 자동 편집 처리에 있어서도, 뉴럴 네트워크의 출력값이, 학습 데이터인 유저의 기호와는 다른 것을 나타내는 값이 되는 처리를 실행한다.
(2) 기호와는 다른 시츄에이션을 학습시킨 뉴럴 네트워크를 사용하는 방법
이 방법에서는, 학습 처리의 시점에서, 유저의 기호와는 다른 시츄에이션을 학습 데이터로 하여 학습을 실행한다. 예를 들면, 수동으로 촬영한 화상은 유저가 좋아하여 촬영한 씬인 것으로 해서, 이것을 학습 데이터로 하는 학습 방법을 전술하하였다. 이에 대하여, 본 실시형태에서는 반대로 수동 촬영한 화상은 학습 데이터로서 사용하지 않고, 소정 시간 이상 수동 촬영이 행해지지 않은 씬을 학습 데이터로서 추가한다. 또는, 학습 데이터 중에 수동 촬영한 화상과 특징이 유사한 씬이 있으면, 학습 데이터로부터 삭제해도 된다. 또한, 외부 통신 기기에서 화상 취득한 화상과 특징이 다른 화상을 학습 데이터에 추가하거나, 화상 취득한 화상과 특징이 닮은 화상을 학습 데이터로부터 삭제해도 된다. 이렇게 함으로써, 학습 데이터에는, 유저의 기호와 다른 데이터가 모이고, 학습의 결과, 뉴럴 네트워크는, 유저의 기호와 다른 시츄에이션을 판별할 수 있게 된다. 그리고, 자동 촬영에서는 그 뉴럴 네트워크의 출력값에 따라 촬영을 행함으로써, 유저의 기호와는 다른 씬을 촬영할 수 있다. 또한, 자동 편집에서는, 마찬가지로 유저의 기호와는 다른 편집 화상의 제안이 가능해진다.
상기 설명한 바와 같이, 굳이 유저 자신의 기호와는 다른 영상을 제안함으로써, 유저가 수동으로 촬영을 하려다가 못해 버리는 씬에 있어서 촬영을 행함으로써 촬영 기회를 놓치는 것을 감소시키는 효과가 있다. 또한, 유저 자신이 발상을 갖지 않은 씬에서의 촬영이나 편집 효과를 제안함으로써, 유저에게 알아차림을 제공하거나, 기호의 폭을 넓힌다고 하는 기대할 수 있다.
또한, 상기한 수단을 조합함으로써, 유저의 기호와 다소 닮고 있지만 일부 다른 시츄에이션의 제안이라고 하는 것 같이, 유저의 기호에 대한 적합 정도를 조절하는 것도 용이하다. 유저의 기호에 대한 적합 정도는, 모드 설정이나, 상기 각종 센서의 상태, 상기 검출 정보의 상태에 따라 변경해도 된다.
본 실시형태에 있어서는, 촬상장치(101) 내에서, 학습하는 구성을 기초로 설명했지만, 외부 기기(301)측에 학습 처리를 갖고, 학습에 필요한 데이터를 외부 기기(301)에 통신하고, 외부 기기측에서민 학습을 실행하는 구성에서도 같은 학습 효과를 실현가능하다. 그 경우, 상기 <통신 기기에서, 파라미터를 변경하는 것에 의한 학습>에서 설명한 바와 같이, 외부 기기측에서 학습한 뉴럴 네트워크의 가중 등의 파라미터를 촬상장치(101)에 통신에 의해 설정함으로써 학습을 행하는 구성으로 하여도 된다.
또한, 촬상장치(101) 내부와, 외부 기기(301) 내부의 양쪽에, 각각 학습 처리를 갖는 구성으로 하여도 된다. 예를 들면, 촬상장치(101) 내에서 학습 모드 처리 716가 행해지는 타이밍에서 외부 기기(301)이 갖는 학습 정보를 촬상장치(101)에 통신하고, 학습 파라미터를 머지함으로써 학습을 행하는 구성으로 하여도 된다.
또한, 상기한 자동 촬영 모드 처리(도 9)의 S907에서는, 유저(수동)에 의한 촬영 지시가 있었는지 아닌지를 판정하여, 촬영 지시가 있었을 경우, S910로 진행되는 구성으로 하였다. 여기에서, 유저(수동)에 의한 촬영 지시는, 촬상장치가 향하고 있는 방향(이하 촬영 방향)을, 유저가 손으로 회전 시킴으로써 지시할 수 있도록 하여도 된다. 도17은 경통 회전 구동부(205)의 구성을 나타내는 블록도다. 도17의 1701∼1707은, 팬 축의 구동에 관한 구성이다. 도17의 1708∼1714은, 틸트 축의 구동 제어에 관한 구성이다. 팬 축의 구동과 틸트 축의 구동에 관한 기본적인 구성은 동일하기 때문에, 팬 축의 구동에 관한 구성만 설명을 행하고, 틸트 축의 구동에 관한 구성의 설명에 대해서는 생략한다. 1701은 피사체의 화상 위에서의 목표 위치와 현재 위치의 차이로부터 팬 축(1706)을 구동할 때의 목표 위치를 산출하기 위한 화상 위치-팬 위치 변환부다. 도18은 촬상장치에서 촬상된 화상에 있어서의 피사체의 현재 위치와 목표 위치의 관계를 나타낸 도면이다. 1801은, 촬상장치가 피사체 탐색중에 화상처리부(207)에서 얻어진 어떤 순간의 화상이다. 1802은 피사체의 현재 위치(x1, y1)을 나타낸 것이다. 1803은 피사체의 목표 위치(x0, y0)을 나타낸 것이다. 화상 위의 피사체의 목표 위치(1803)과 현재 위치(1802)의 차이로부터 팬 및 틸트의 목표 위치를 산출할 때에는, 이하의 식을 사용한다.
kp(f)×(x1-x0) (식1)
kt(f)×(y1-y0) (식2)
kp(f)은 촬상장치의 초점거리 f에 따라 변화하는 피사체의 화상 위에서의 목표 위치와 현재 위치의 차이로부터 팬의 목표 위치를 산출하기 위한 변환 계수다. kt(f)은 촬상장치의 초점거리 f에 따라 변화하는 피사체의 화상 위에서의 목표 위치와 현재 위치의 차이로부터 틸트의 목표 위치를 산출하기 위한 변환 계수다.
도17의 1702은 보상기이다. 보상기(1702)은, 현재의 팬 위치와 화상 위치-팬 위치 변환부(1701)에서 산출된 팬의 목표 위치의 차이를 없애도록, PID 제어 연산을 행함으로써 제어 출력을 산출한다. 1703은 촬영 방향 변경 조작 검출부이며, 팬의 목표 위치와 현재 위치의 차이(이하, 위치 편차)와 제어 출력, 팬의 이동 속도로부터 촬영 방향 변경 조작을 검출한다. 촬영 방향 변경 조작 검출부(1703)에서 촬영 방향의 변경을 검출한 경우에는, 제어 출력을 OFF로 해서 팬의 구동을 정지한다. 한편, 촬영 방향 변경 조작 검출부(1703)에서 촬영 방향의 변경을 검출하지 않은 경우에는, 보상기(1702)에서 산출된 제어 출력에 따라 팬의 구동 제어를 행한다. 1704은, 보상기(1702)에서 산출된 제어 출력에 따른 구동신호를 생성하기 위한 드라이버다. 1705은, 팬 축(1706)을 구동하기 위한 액추에이터인 초음파 모터(USM)이다. 1707은, 팬 위치의 시간 변화로부터 팬의 이동 속도를 산출하기 위한 이동 속도 검출부다. 이동 속도 검출부(1707)은, 제어 샘플링마다의 팬 위치의 변화량으로부터 팬의 이동 속도를 산출한다. 도 19은, 유저 조작에 의한 촬영 방향 변경 조작을 검출하고, 촬영 방향 변경 조작후의 촬영 에어리어를 중요한 영역으로 하여 학습 정보를 갱신하는 플로우를 나타낸 흐름도다.
S1901에 있어서, 유저에 의한 촬상장치의 촬영 방향 변경 조작의 유무의 판정을 행한다. 유저에 의한 촬영 방향 변경 조작의 검출은, 촬영 방향 변경 조작 검출부(1703)에서, 후술하는 제어 출력 및 위치 편차가 소정의 조건을 만족한 경우에 촬영 방향 변경 있음으로 판정한다. S1901에서 촬영 방향 변경 조작을 검출한 경우에는, S1902로 진행하야, 위치 제어 동작을 정지한다. 피사체 추미중이나 탐색중인 경우에는 중단한 후에 위치 제어 동작을 정지한다. 한편, S1901에서 촬영 방향 변경 조작을 검출하지 않은 경우에는, 촬영 방향 변경 조작의 검출을 계속한다. S1902에서 위치제어를 정지시킨 후에는, S1903로 진행하여서 유저에 의한 촬영 방향 변경 조작의 종료 판정을 행한다.
촬영 방향 변경 조작의 종료 판정은, 촬영 방향 변경 조작 검출부(1703)에서, 팬의 이동 속도에 따라 촬영 방향 변경 조작의 계속 또는 종료를 판정한다. 촬영 방향 변경 조작이 종료하였다고 판정한 경우에는, S1904로 진행하여, 촬영 방향 변경 조작의 종료 판정후의 촬영 에어리어 정보를 기억한다. 기억할 에어리어는, 촬상장치의 위치, 팬 위치, 틸트 위치, 초점거리로부터 결정되는 화각을 각 분할 에어리어와 비교해서 가장 가까운 에어리어를 기억한다. S1903에서 촬영 방향 변경 조작중이라고 판정한 경우에는, 촬영 방향 변경 조작 종료의 검출을 계속한다. S1905에서는, S1904에서 기억한 에어리어를 다른 분할 에어리어보다도 중요한 에어리어로 하여 학습 정보를 갱신한다. S1906에서는, 피사체 추미 및 위치 제어를 유효하게 한 후에 S1901로 진행하여, 촬영 방향 변경 조작의 검출을 재개한다. 이때, 촬상장치(101)이 추미하고 있는 것을 유저에게 알리기 위해서, 추미 대상의 화상 혹은 그 주변에, 전술한 얼굴 인증과는 다른 특수 화상(화상 이펙트)을 표시한다. 유저가 촬영 방향 변경 조작을 행하는 예로서, 촬상장치(101)에서 꽃을 촬영중에 유저가 경통(102)을 손으로 회전시킴으로써, 촬상장치(101)의 광축이 화각 외부의 특정한 인물에 향하도록 촬영 방향 변경 조작했을 때의 예를 설명한다. 도20은, 촬상장치(101)에서 꽃(2001)을 촬영중에 인물(2003)의 방향으로 유저의 손으로 경통(102)을 회전시킨 후에, 인물(2003)이 존재하는 에어리어를 중요 에어리어로 하여 학습 정보를 갱신하는 예를 설명하기 위한 모식도다. 도20의 2002은, 꽃(2001)을 촬영중인 촬상장치(101)의 광축이다. 2004은 유저가 손으로 촬영 방향을 변경시킨 후의 광축이다. 2005은, 유저가 촬영 방향을 변경했을 때의 경통(102)의 회전 방향을 나타내고 있다. 도21 및 도22를 사용하여, 꽃(2001)을 촬영중에 유저 조작에 의해 인물(2003)의 방향으로 촬영 방향을 변경한 후에 인물(2003)이 존재하는 에어리어를 중요한 에어리어로 하여 학습 정보를 갱신할 때까지의 동작에 대해 설명한다. 도 21a, b, c, d는, 꽃을 촬영중으로부터 촬영 방향을 변경해서 특정 인물(2003)의 방향으로 촬영 방향을 변화시켜 학습 정보를 갱신할 때까지의 사이에 촬상된 어떤 순간의 화상을 나타낸 도면이다. 도22은, 꽃을 촬영중에 유저가 촬영 방향을 특정 인물(2003)의 방향으로 변경하고, 변경후의 화각의 에어리어를 중요한 에어리어로 하여 학습 정보를 갱신할 때까지의 사이의 팬의 제어 출력(2201), 위치 편차(2202), 이동 속도(2203)의 시간 변화를 나타낸 도면이다. 도22의 ta, tb, tc, td는 각각 도 21a, b, c, d에 나타내는 화상을 촬상한 시간이다. 도22의 ThC은, 유저가 손으로 경통(102)을 회전시킨 것을 판정하기 위해서 사용하는 제어 출력의 임계값이다. ThDiff는, 유저가 손으로 경통(102)을 회전시킨 것을 판정하기 위해서 사용하는 위치 편차의 임계값이다. 제어 출력이 ThC 이상이고 또한 위치 편차가 ThDiff 이상인 시간이 소정 시간(도22는 t2-t1) 계속한 경우에 유저에 의해 촬영 방향의 변경이 행해진 것으로 하고, 보상기(1702)의 제어 출력을 OFF한다. ThV는, 유저가 촬영 방향 조작을 종료하였다고 판정하기 위해서 사용하는 팬 축의 이동 속도의 임계값이다. CMax는 보상기(1702)의 제어 출력의 최대값이다. 위치 제어할 때에는, 제어 출력을 -CMax로부터 CMax의 범위에서 변경하는 것에 의해 피사체가 화상 위의 목표 위치에 위치하도록 팬 축의 구동을 제어한다. 도22의 t1은 유저가 촬영 방향 조작을 개시한 후 제어 출력(2201)이 ThC 이상이고 또한 위치 편차가 ThDiff 이상으로 되었을 때의 시간을 나타내고 있다. t2은, 제어 출력(2201)이 ThC 이상이고 또한 위치 편차(2202)이 ThDiff 이상인 시간이 촬영 방향 변경 판정 시간(t2-t1) 경과한 시간을 나타내고 있다. t3은 시간 t2 이후에 처음으로 팬 축의 이동 속도가 ThV 이하가 되었을 때의 시간을 나타내고 있다. t4은 이동 속도가 시간 t3에서 ThV 이하이 된 후의 경과 시간이 촬영 방향 변경 종료 판정 시간(t4-t3)으로 된 시간을 나타내고 있다.
도 21a는, 꽃(2001)을 촬영중에 시간 ta의 타이밍에서 촬상한 화상을 나타내고 있다. 도 21a의 2101은 추미, 탐색 또는 촬영 대상이 되는 피사체를 나타내는 피사체 프레임이다. 2102은, 피사체 프레임(2101)의 중심의 화상 위의 목표 위치가 되는 목표점을 나타낸 것이다. 2102의 2개 선이 교차하는 점이 피사체의 화상 위에서의 목표 위치다. 통상의 촬영 동작중(촬영 방향 변경 조작중이 아닌 상태)에는, 피사체 프레임(2101)의 중심과 목표점(2102)이 겹치도록, 팬 축 또는 틸트 축을 구동 제어함으로써, 위치맞춤을 행한다. 도21b은, 도 21a의 상태에 있어서 시간 tb의 타이밍에서 유저가 고정부(103)에 대해 경통(102)을 우측 방향으로 회전시켰을 때에 촬상한 화상이다. 도21b의 흑색의 화살표는, 위치 제어의 팬의 구동방향, 백색의 화살표는 유저의 촬영 방향 변경 조작에 의한 경통(102)의 회전 방향이다. 시간 tb에 있어서의 제어 출력(2201), 위치 편차(2202)을 보면, 제어 출력이 최대값인 CMax로 되어 있는데도 불구하고, 위치 편차(2202)은 증가 경향에 있다. 이것으부터 유저가 의도적으로 팬 축을 회전시키고 있다고 판정할 수 있다. 본 실시형태에서는, 유저가 손으로 경통(102)을 회전시키고 있는 상태인 것을 검지한 후, 보상기(1702)의 제어 출력을 OFF할 때까지 소정 시간(t2-t1)만큼 대기한 후 촬영 방향 변경의 판정을 행하고 있다. 이것은, 의도하지 않게 유저가 경통에 접촉해 버렸을 경우나, 탐색 구동중의 팬 축 또는 틸트 축의 부하 변동에 의한 영향으로, 유저가 방향 변경 조작을 행하지 않은 경우에 촬영 방향 변경 있음으로 판정하지 않기 위한 대책이다. 유저의 촬영 방향 변경 조작을 개시한 후 촬영 방향 변경 판정을 신속하게 행하기 위해서, 확정할 때까지의 시간을 단축하거나, 없애도 된다.
도21c은, 시간 tc에서 보상기(1702)의 제어 출력을 OFF한 상태에서 유저의 촬영 방향 변경 조작에 의해 새로운 피사체의 부근까지 팬 축을 회전시켜 목표가 되는 피사체가 화각에 들어갔을 때의 도면이다. 이렇게 새로운 촬영 대상이 되는 피사체가 화각에 들어갈 때까지 유저는 촬영 방향 변경 조작을 계속할 필요가 있다. 본 실시형태에 나타내는 촬상장치(101)과 같이 촬영 방향 변경중인 화상을 직접 확인할 수 없는 경우에는 스마트 디바이스를 사용해서 변경중인 화상을 확인하면서 조작을 행함으로써 촬영 대상이 되는 피사체가 화각에 들어간 것을 확인한다. 그 밖의 촬영 대상의 피사체가 화각 내에 들어간 것을 유저가 알 수 있는 수단으로서, 촬영 방향 변경중에 새로운 피사체가 화각 내에 들어갔을 경우에는 LED 제어부(224)에 의해 LED를 발광시키거나 음성 출력부(218)에서 음성 출력시킴으로써 유저에게 통지하도록 하여도 된다.
도21d는, 시간 t4의 타이밍에서 보상기(1702)의 제어 출력을 ON한 상태에서 촬영 방향 변경후의 새로운 피사체를 추미, 촬영중인 화상이다. 시간 t4은, 시간 t3에서 팬의 이동 속도(2203)이 ThV 이하가 되는 시간이 촬영 방향 변경 조작 종료 판정 시간(t4-t3) 이상 경과후의 타이밍이다. 시간 t4에서 유저에 의한 촬영 방향 변경 조작이 종료하였다고 판정한 경우에는 t4의 시점에서의 촬영 에어리어를 유저가 원하는 에어리어로서 다른 에어리어보다도 중요도를 높게 설정한 다음 학습 정보를 갱신한다. 또한, 이 에어리어에 존재하는 피사체를 중요한 피사체로서 추미, 촬영, 인증 등록의 어느 한 개 이상의 동작을 행하여도 된다. 예를 들면, 도21d에 나타낸 것과 같이, 유저에 의한 촬영 방향 변경 조작이 끝난 것을 검출한 타이밍에서 인물(2003)이 화각 내에 존재할 경우에는, 인물(2003)을 중요한 피사체로 하여 추미, 촬영, 인증 등록의 어느 한개의 동작을 행한다. 학습 정보 갱신 처리는, 자동적으로 행하지 않고 유저에 의한 학습 지시가 있었을 경우에만 행하도록 하여도 된다. 예를 들면, 화각에 피사체가 들어간 것을 촬상장치가 유저에게 통지한 후에, 사전에 등록해 둔 학습 지시용의 특정 음성 코맨드를 입력한 경우에만 학습 정보의 갱신을 행하도록 하는 것 등, 유저로부터 학습 지시가 있었을 경우에만 학습 정보를 갱신하도록 하여도 된다.
본 실시형태에서는, 유저에 의한 촬상장치의 촬영 방향 변경 조작의 개시 및 종료의 검출을 보상기의 제어 출력, 위치 편차, 구동축의 이동 속도에 의해 검출하는 예를 나타내었지만, 유저에 의한 촬영 방향 조작을 검출가능하면 다른 방법으로 검출해도 된다. 예를 들면, 장치 흔들림 검출부(209)로부터의 자이로 센서나 가속도 센서의 신호의 시간 변화에 근거하여 유저에 의한 촬영 방향 변경의 유무를 검출하도록 하여도 된다. 도23은, 유저 조작에 의해 촬상장치의 촬영 방향을 변경했을 때의 장치 흔들림 검출부(209)의 가속도 센서의 출력 변화를 나타내고 있다. 2301은, 가속도의 시간 변화를 나타내고 있다. ThA1은, 유저가 촬영 방향 변경 조작을 개시하였다고 판정할 때에 사용하는 가속도의 임계값이다. ThA2은, 유저가 촬영 방향 변경 조작을 종료하였다고 판정하는 가속도의 임계값이다. 이들 임계값과 가속도를 비교하여, 촬영 방향 변경 조작의 개시 및 종료를 검출하도록 하여도 된다. 이때, 촬영 방향 변경 조작의 오검지를 막기 위해서, 사전에 촬영 방향 변경 조작시의 가속도의 시간 변화 패턴을 학습시켜 두고, 검출한 가속도의 시간 변화가 학습한 시간 변화 패턴과의 유사도가 소정값 이상인 경우에 촬영 방향이 변경되었다고 판정해도 된다. 마찬가지로, 촬상장치에 의해 촬상한 화상의 움직임 벡터의 변화에 따라 촬영 방향 조작의 유무를 검출하도록 하여도 된다.
또한, 상기한 기재에서는, 촬영 방향 변경 조작후에 화각 내가 되는 촬영 에어리어를 중요한 에어리어로서 학습하는 처리를 설명하였다. 그렇지만, 이것에 한정하지 않고, 줌 변경이나 외부 기기에의 유저 조작에 의한 촬영 에어리어의 변경이 있었을 경우에, 변경 조작후의 촬영 에어리어를 중요한 에어리어로서 학습하는 처리를 해도 된다.
<저소비 전력 모드 해제 조건에 따라 처리를 변경한다>
도 9에 있어서 본 실시형태에 있어서의 촬영 모드의 기본적인 처리 시퀀스를 설명했지만, 어떠한 때에도 이 시퀀스에 따라서 처리를 하고 있으면, 피사체를 포착하여 자동 촬영이 행해질 때지 시간이 걸려 버린다. 이 경우, 셔터 챤스를 잃거나, 유저의 의도와 다른 피사체를 촬영해 버릴 우려가 있다. 특히, 저소비 전력 모드가 해제될(이하 웨이크업이라고 한다) 때, 어떤 조건에 근거하여 해제되었는지에 따라, 최적의 처리 시퀀스는 다르다. 여기에서는, 웨이크업 조건과 그것에 적합한 처리 시퀀스의 예를 나타낸다.
(1) 탭 검출에 의한 웨이크업
탭 검출에 의한 웨이크업이 가능하다고 전술하였다. 이러한 경우에는, 촬상장치(101)의 소유자가 촬영의 의사를 갖고 웨이크업을 지시하였다고 생각된다. 그 때문에, 주위를 탐색해서 소유자를 찾고, 소유자가 찍히도록 곧바로 자동 촬영하는 것 같은 처리가 바람직하다.
도27은 이 경우에서의 촬영 모드의 처리를 나타내고 있다.
스텝 S2701∼S2703은, 도 9에서 설명한 통상시의 처리와 같기 때문에 생략한다.
스텝 S2704에서는, 통상의 처리와는 달리, 전체 화각을 망라하도록 팬·틸트 구동을 행하면서 탐색을 행한다.
스텝 S2705에서, 특정한 인증 인물이 화각 내에 있는지 아닌지를 판정한다. 이때, 사전에 소유자에 대해 소유자 자신의 얼굴을 인증 얼굴 등록시켜 두고, 특정한 인증 인물로서 소유자 자신을 탐색하는 것이 바람직하다. 소유자가 화각 내에 발견된 경우에는, S2706로 진행한다.
스텝 S2706에서는, 소유자가 화각 내에 모이도록 팬·틸트 줌 구동을 행한 후에, 스텝 S2712의 촬영 개시 동작으로 진행한다.
스텝 S2707∼S2715은, 도 9의 S905∼S913와 같은 처리이기 때문에 생략한다.
이러한 처리를 함으로써, 유저의 의사에 곧바로 반응한 촬영이 가능해진다.
(2) 음향 검출에 의한 웨이크업
음향 검출 및 음성 코맨드 인식에 의한 웨이크업이 가능하다고 전술하였다. 음향 검출의 경우에는, 음의 방향에 관심의 대상 인물이 있을 가능성이 높다. 또한, 음성 코맨드 인식의 경우에는, 음성 코맨드를 내린 인물이, 자신을 촬영해 주었으면 싶다고 하는 의사를 갖고 있으면 생각된다. 따라서, 음성을 검지한 방향에 있는 인물을 찾아서 곧바로 자동 촬영하는 것 같은 처리가 바람직하다.
도28은 이 경우에서의 촬영 모드의 처리를 나타내고 있다.
스텝 S2801∼S2803은, 도 9에서 설명한 통상시의 처리와 같기 때문에 생략한다.
스텝 S2804에서는, 통상의 처리와는 달리, 음 방향 검지한 방향을 화각에 포함시키도록 팬·틸트 구동을 행한다.
스텝 S2805에서, 음 방향의 화각에 인물이 있는지 아닌지를 판정한다. 인물이 있는 경우, 그 인물이 음향 또는 음성 코맨드의 발생원으로 간주하고, 그 인물의 촬영을 향해 S2806로 진행한다.
스텝 S2806에서는, 그 인물이 화각 내에 모이도록 팬·틸트 줌 구동을 행한 후에, 스텝 S2812의 촬영 개시 동작으로 진행한다.
스텝 S2807∼S2815은, 도 9의 S905∼S913과 같은 처리이기 때문에 생략한다.
이러한 처리를 함으로써, 환성이 오르는 것 등의 관심이 높은 순간의 촬영 기회를 놓치지 않고 촬영할 수 있는 효과를 기대할 수 있다. 또한, 음성 코맨드를 발성한 인물의 의사에 곧바로 반응한 촬영이 가능해진다.
(3) 기타 조건에 의한 웨이크업
기타 조건에 근거한 웨이크업(예를 들면, 도 8에서 설명한 시간 경과 판정)일 때는, 기본으로 하는 도 9의 시퀀스에 따라서 처리를 행한다. 이렇게 함으로써, 중요한 피사체가 필요할 때에 한하여 자동 촬영이 행해져, 소비 전력이나 기억장치의 빈 용량의 소비를 억제할 수 있다.
상기한 실시형태에 따르면, 하기의 기능이 가능해진다.
(1) 기동
기동한 조건에 따라, 기동후의 탐색, 촬영 처리를 변경한다.
이와 같이, 무엇을 기동했는지에 따라, 기동후의 처리(자동 촬영 판정, 탐색 처리, 슬립 판정 처리)을 바꾼다. 이에 따라, 매회 일률적인 기동 시퀀스를 실행하고 있으면 시간이 걸리고, 셔터 챤스의 잃음, 유저의 의도와 다른 피사체를 촬영한다고 하는 과제를 해결할 수 있다.
[예 1] 목소리로 깨워지면 목소리의 방향을 향해서 탐색, 촬영 판정 개시
[예 2] 탭으로 깨워지면 소유자(인증 얼굴)를 발견한다
(2) 슬립
피사체 씬 판정 수단을 갖고, 씬 판정 결과에 따라, 자동 슬립에 들어가는 것을 결정한다. 판정 결과에 따라 슬립 시간을 조정한다. 촬상장치의 내부 상태를 판정하는 수단을 갖고, 내부 상태 판정 수단에 따라 자동 슬립에 들어간다.
이와 같이, 피사체나 씬에 따라, 자동 슬립에 들어간다. 슬립 시간도 조정한다. 또한, 촬상장치의 처리의 내부 상태에 따라 자동 슬립에 들어간다. 이에 따라, 단순히 시간 경과나 조작 없음에 의한 슬립이면, 절전 효과가 낮고, 또한, 셔터 챤스 잃음의 우려가 있다고 하는 과제를 해결할 수 있다.
[예 1] 피사체가 있지 없으면 절전으로 이행
[예 2] 씬이 변화에 부족하면 약간 길게 슬립
[예 3] 자동 촬영, 학습, 편집, 전송 모드의 어느 쪽에도 해당하지 않을 경우 슬립
[예 4] 전지 잔량
(3) 자동 화상 전송
경과 시간, 촬영된 화상의 평가값, 전지 잔량, 카드 용량 중 적어도 한개의 조건에 따라, 화상을 자동으로 전송하거나, 화상 전송 빈도를 자동으로 결정한다.
이와 같이, 조건에 따라 화상을 자동으로 전송한다(소정 시간 경과마다, 고평가의 화상이 찍힌 경우). 또한, 조건에 따라 화상 전송 빈도를 자동으로 결정한다(전지의 잔량이 적을 때에는, 화상 전송되기 어렵게 하고, 촬영 빈도가 높게 설정되어 있으면, 전송 빈도도 높게 하고, 기억매체의 빈 용량이 적을 때에는 전송 빈도를 높게 한다). 이에 따라, 유저 지시에 따라 화상 전송을 할 경우, 전송 처리를 기다리는 시간이 발생, 또한, 미리 정해진 전송 빈도나 전송 매수이면, 유저에 따라서는 외부 장치의 용량을 핍박한다고 하는 과제를 해결할 수 있다.
(4) 학습
경과 시간, 학습 데이터의 누적 정도, 현재의 씬이나 피사체의 판별 결과, 예정 시간, 금후의 촬영 가능성, 전원 OFF시 중 적어도 한개의 조건에 따라, 자동으로 학습 모드에 들어간다.
이와 같이, 조건에 따라, 자동으로 학습 모드에 들어간다(새로운 학습 데이터가 소정 이상 쌓인 경우, 전회의 학습이 행해진 후의 시간 경과가 길고, 눈에 띄는 피사체가 주위에 없는 것 등, 잠시동안 자동 촬영이 행해지지 않을 것 같다). 이에 따라, 학습 모드에 들어가는 조건을 적절히 설정하지 않으면, 학습 처리를 기다리는 시간이 발생하거나, 전력을 쓸데없이 소비한다고 하는 과제를 해결할 수 있다.
(5) 화상의 자동 삭제
조건에 따라 자동 삭제를 행한다. 촬영 빈도, 빈 용량에 따라 삭제 목표 매수를 설정한다. <유저가 수동 촬영한 화상>, <유저가 고평가한 화상>, <촬상장치가 산출한 중요도 스코어가 높은 화상>을 삭제되기 어렵게 설정한다. 또한, <외부 장치에 전송된 화상>, <한번도 유저의 눈에 접촉하지 않는 화상>을 삭제되기 쉽게 설정한다. 또한, 취득된 하이라이트 동화상이 짧은 간격으로 촬영되고 있으면, 오래된 파일을 우선적으로 삭제해도 된다. 또한, 긴 간격으로 촬영되고 있으면, 오래되어도 스코어가 높은 파일은 삭제하지 않도록 하여도 된다. 또한, 동화상의 촬영 빈도가 많아지도록 학습되어 있으면, 통상보다 많은 화상을을 자동 삭제하도록 하여도 된다.
이에 따라, 빈 용량이 없어지면, 자동 촬영할 수 없다는 과제와, 유저의 손으로 1매씩 삭제하는 것이 번잡하다고 하는 과제를 해결할 수 있다.
(6) 자동 편집
촬영 화상의 쌓이는 정도, 전회 편집시부터의 경과 시간, 촬영된 화상의 평가값, 시간적인 시기 중 적어도 한개의 조건에 따라, 편집 처리를 자동 실행한다.
이에 따라, 유저의 지시에 따라 스토리 포토 동화상을 만들면, 작성 처리를 기다리는 시간이 발생하고, 사용의 편의성이 뒤떨어진다고 하는 과제를 해결할 수 있다.
전술한 <악세사리류의 구성>에 있어서, 도32를 사용해서 다른 카메라(3201)과 접속하는 어태치먼트를 설명했지만, 촬상장치(101)과 다른 카메라(3201)를 연계해서 촬영할 경우의 예를 설명한다.
카메라 사이에서 한쪽의 카메라의 릴리즈 타이밍과 맞추도록, 또 한쪽의 카메라의 릴리즈를 눌러 동시 촬영하는 방법이 기지의 기술로서 알려져 있다.
본 실시형태에 있어서는, 카메라 사이에서 연동해서 촬영을 행하지만, 카메라(3201)이 릴리즈 버튼(3203)을 누르기 전에, 촬상장치(101)이 릴리즈 누름을 예측하여, 카메라(3201)이 촬영을 행하기 전에, 촬영 개시한다.
촬상장치(101)은, 상기 설명한 자동 촬영 판정과 같은 방법에 의해, 자동 촬영을 행하지만, 이때, 카메라(3201)이 촬영하는 타이밍을 예측하는 학습이 행해지고 있고, 연계 촬영을 행하는 경우에는, 이 네트워크를 사용해서 자동 촬영 판정을 행한다.
유저가 카메라(3201)을 조작해서 촬영을 행하는 구성에 있어서의 촬상장치(101)의 동작을 설명한다. 도33에 촬상장치(101)의 흐름도를 나타낸다.
여기에서는, 카메라(3201)이 정지화상 촬영, 촬상장치(101)이 동화상 촬영하는 예를 사용하여 설명한다.
촬영 모드 처리가 스타트하면, 우선 S3301에서 카메라 연계의 모드인지를 판정하여, 연계 모드의 경우, S3303로 진행하고, 연계 모드가 아닐 경우, S3302로 진행한다.
연계 모드는, 카메라(3201)과 촬상장치(101)이 유선이나 무선으로 접속되어 있는지 아닌지로 판정해도 되고, 스마트 디바이스(301)에서 설정하도록 하여도 된다.
S3202에서는, 카메라 연계 모드가 아니기 때문에, 도 9에서 설명한 처리를 행하고, 촬영 모드 처리를 종료하고, 다음번 연산 주기를 기다린다. S3303에서는 카메라(3201)로부터의 정보를 판독한다. 정보는 카메라(3201)의 릴리즈 스위치 누름 정보나 전원 ON 상태 정보나, 화상으로부터의 피사체 정보 등을 촬상장치(101)에 통지하고, S3304로 진행한다.
S3304에서는, 촬상장치(101)이 촬영중인지 아닌지를 판정하여, 촬영중이 아니면, S3305로 진행하고, 촬영중이면 S3306로 진행한다. S3305에서는, 카메라(3201)이 촬영 개시하였는지 아닌지를 판정하여, 촬영 개시이면 S3310로 진행하여, 촬상장치(101)의 촬영을 개시하고, 촬영 모드 처리를 종료하고, 다음번 연산 주기를 기다린다. S3305에서 카메라(3201)이 촬영 개시하지 않고 있으면, S3307로 진행하여, 자동 촬영 판정 처리를 행한다. 자동 촬영 판정 처리는 도 12을 사용하여 설명한 방법과 같은 방법으로 실현할 수 있다. 이때 특징량 입력은 카메라(3201)로부터의 정보와 촬상장치(101)로부터의 정보의 양쪽을 사용해서 판정해도 되고, 어느 한쪽 만의 정보에 의해 판정해도 된다.
자동 촬영 판정 처리를 종료하면 S3308로 진행하고, 자동 촬영 판정 처리에서 촬영 개시로 판정되었는지 아닌지를 판정한다. 자동 촬영 개시 판정되면, S3309로 진행하여 촬상장치(101)의 자동 촬영을 개시하고, 자동 촬영 개시 판정되지 않고 있으면, 촬영은 행하지 않고, 촬영 모드 처리를 종료하고, 다음번 연산 주기를 기다린다.
S3304이 S3310이나 S3309에서 개시된 후의 촬영중이라고 판정되면, S3306에서, 촬영 종료 판정 처리로 판정이 행해진다. 그리고, 촬영 종료로 판정되면 S3311로 진행하여 촬상장치(101)0의 촬영을 종료하고, 촬영 종료로 판정되지 않고 있으면 그대로 촬영한 채 촬영 모드 처리를 종료하고, 다음번 연산 주기를 기다린다.
자동 촬영 판정 처리는 도 12을 사용하여 설명한 방법과 같은 방법으로 실현할 수 있다. 이때 특징량 입력은 카메라(3201)로부터의 정보와 촬상장치(101)로부터의 정보의 양쪽을 사용해서 판정해도 되고, 어느 한쪽 만의 정보에 의해 판정해도 된다.
본 구성에서는, 촬상장치(101)의 자동 촬영을 행하는 구성으로 했지만, 촬상장치(101)은 동화상을 게속해서 촬영해두고, 중요한 시간대에 대해 태그를 부착해서 최종적인 동화상 파일에 기록하고 있어도 된다.
또한, 촬영 결과를 사용하여, 연계의 자동 촬영 타이밍을 학습시켜도 된다.
예를 들면, 촬상장치(101)이 자동 촬영중이 아닐 때나, 카메라(3201)이 촬영 개시되었을 때에는, 틀린 데이터로서, 그 때의 도 12의 입력이 되는 특징량을 학습 데이터로서 보존한다.
또한, 촬상장치(101)이 자동 촬영중일 때나, 카메라(3201)이 촬영 개시되었을 때에는, 정답의 데이터로서, 그 때의 도 12의 입력이 되는 특징량을 학습 데이터로서 보존한다.
또한, 촬상장치(101)이 자동 촬영중일 때나, 소정 시간 경과해도 카메라(3201)이 촬영 개시되지 않았을 때에는, 불정답의 데이터로서, 그 때의 도 12의 입력이 되는 특징량을 학습 데이터로서 보존한다.
또한, 학습 데이터가 소정이상 쌓이면, 학습하여, 도 12의 뉴럴 네트워크의 가중을 변경한다.
이때, 카메라(3201)이 정지화상 촬영, 촬상장치(101)이 동화상 촬영하는 예를 사용하여 설명했지만, 촬영 방법은 이것에 한정되는 것은 아니고, 이하의 패턴을 스마트 디바이스(301) 등을 사용해서 수동으로 선택해도 된다.
또한, 이하의 패턴을 촬상장치(101)이 자동으로 선택해도 된다. 자동으로 선택할 경우, 어느 패턴으로 촬영할지도 자동으로 판정한다.
예를 들면, 카메라(3201)이 정지화상 촬영일 때, 촬상장치(101)은 동화상 촬영을 한다.
또한, 예를 들면, 카메라(3201)이 정지화상 촬영일 때, 촬상장치(101)은 정지화상 촬영을 한다.
또한, 카메라(3201)이 동화상 촬영일 때, 촬상장치(101)은 정지화상 촬영을 한다.
또한, 카메라(3201)이 동화상 촬영일 때, 촬상장치(101)은 동화상 촬영을 한다.
또한, 카메라(3201)과 촬상장치(101)의 광축 방향의 방향이나, 화각을 수동으로 선택, 혹은 자동으로 선택되어도 된다.
예를 들면, 카메라(3201)과 촬상장치(101)은, 같은 광축 방향의 방향으로 한다.
또한, 예를 들면, 카메라(3201)과 촬상장치(101)은, 다른 광축 방향의 방향으로 한다.
또한, 카메라(3201)과 촬상장치(101)은, 같은 화각으로 한다.
또한, 카메라(3201)과 촬상장치(101)은, 다른 화각으로 한다.
이때, 촬상장치(101)이 정지화상 촬영할 경우에 있어서도, 촬영 개시전을 사전 예측하고, 자동 촬영 기간중에는, 1매 뿐만 아니라, 몇매인가를 자동 촬영하는 것으로 해도 된다.
본 실시형태에 있어서는 카메라(3201)의 악세사리 슈(3202)에 촬상장치(101)을 접속해서 사용하는 예로 설명했지만, 이것에 한정되는 것은 아니다. 예를 들면, 카메라(3201)의 다른 부재(예를 들면, 삼각 나사 구멍 등)에 부착해도 되고, 카메라(3201)에 직접 부착하지 않고 사용할(예를 들면, 웨어러블로 유저에 몸에 붙여 놓아 무선통신으로 정보 통지) 수도 있다.
또한, 본 실시형태에 있어서는 촬상장치(101)에서, 카메라(3201)이 촬영되는 것을 사전 예측해서 촬영하는 예를 설명했지만, 카메라(3201) 내에서 촬영되는 것을 사전 예측해도 된다. 이 경우, 사전 예측에 의해 촬영 판정되었을 때에, 촬상장치(101)에 촬영 개시 지시를 내림으로써, 사전 예측에 의한 카메라 연계 촬영을 행해도 된다.
또한, 카메라(3201)와 촬상장치(101)의 정보 통지는, 릴리즈 타이밍 만 통지되는 구성을 취해도 된다. 또한, 카메라(3201)와 촬상장치(101)의 양쪽의 검출 정보를 촬영 개시 판정에 사용하는 구성을 취해도 된다. 또한, 촬상장치(101) 만의 검출 정보를 촬영 개시 판정에 사용하는 구성을 취해도 된다.
<카메라(3201)을 사용한 학습>
(1) 카메라(3201)의 정보를 촬상장치(101)에 전송
예를 들면, 유저 조작으로 카메라(3201)에서 촬영된 화상으로부터, 메인 피사체를 추출한다.
그리고, 피사체 정보를 촬상장치(101)에게 통지하여 세트한다. 그후, 촬상장치(101)은 피사체를 촬영한 매수로부터, 중요한 피사체인지를 판단하여, 피사체 등록하고, 자동 촬영/추미 등을 행한다.
(2) 릴리즈 개시 시점의 촬상장치(101)에 있어서의 취득 정보로 피사체 등록
예를 들면, 유저 조작으로 카메라(3201)이 촬영된 타이밍을 촬상장치(101)에 통지한다. 그리고, 촬영 타이밍에 있어서의 촬상장치(101)의 화상으로부터 중요 피사체를 설정한다. 그후, 촬상장치(101)은 피사체를 촬영한 매수로부터, 중요한 피사체인지를 판단하여, 피사체 등록하고, 자동 촬영/추미 등을 행한다.
<촬상장치(101)로부터 카메라(3201)에 정보 통지>
촬상장치(101)과 다른 카메라(3201)를 연계해서 촬영할 경우의 촬상장치(101)로부터의 정보에 의해 카메라(3201)을 어시스트하는 예를 설명한다.
(1) 피사체 정보 통지
촬상장치(101)에서 검출한 피사체 정보(예를 들면, 개인 등록된 얼굴, 개 고양이 등 소유자의 기호라고 판정된 피사체, 유저가 원하는 피사체를 판정된 심미성 판정 결과)를 카메라(3201)에 통지한다. 그리고, 카메라(3201)의 라이브 화상에 있어서 그 피사체가 어디에 위치하는지와, 화상 외부에 있어서 어떤 피사체가 있는지(예를 들면, 화면 우측 방향에 차가 있는지)를 통지하고, 유저가 원하는 피사체가 있는지 아닌지를 통지한다.
(2) 릴리즈 통지
촬상장치(101)로부터, 카메라(3201)에 촬영 지시를 행하는 구성으로 하여도 된다.
자동 촬영 모드의 처리에서 설명한 방법에 의해, 촬영 타이밍을 판정하여, 카메라(3201)에 자동 촬영 지시를 행한다.
또한, 특정 물체가 카메라(3201)의 화면 내에 근접해 오는지를 판정하여, 화면 내에 들어오는 타이밍에서 연속 촬영이나 동화상 촬영을 행하도록 하는 구성을 취해도 된다.
본 실시형태에 따르면, 유저가 특별한 조작을 행하지 않고, 유저가 원하는 영상을 취득하는 것이 가능한 촬상장치를 제공하는 것이 가능해진다.
본 발명은 상기 실시형태에 제한되는 것은 아니고, 본 발명의 정신 및 범위에서 이탈하지 않고, 다양한 변경 및 변형이 가능하다. 따라서, 본 발명의 범위를 밝히기 위해서 이하의 청구항을 첨부한다.
본원은, 2017년 9월 28일 제출의 일본국 특허출원 특원 2017-188938과 2017년 12월 28일 제출의 일본국 특허출원 특원 2017-254231과 2018년 3월 20일 제출의 일본국 특허출원 특원 2018-053078을 기초로서 우선권을 주장하는 것이며, 그 기재 내용의 전체를 여기에 원용한다.

Claims (25)

  1. 촬영 유닛에 의해 촬영된 촬영 화상에 관한 데이터를 취득하도록 구성된 취득 유닛과,
    상기 취득 유닛에 의해 취득된 데이터에 근거하여 상기 촬영 유닛의 자동 촬영 처리를 변경하도록 구성된 변경 유닛을 구비하고,
    상기 변경 유닛은, 상기 변경 유닛이 상기 자동 촬영 처리를 변경할 때, 자동으로 처리된 촬영 화상에 있어서의 상기 취득 유닛에 의해 취득된 데이터보다도, 유저로부터의 지시에 근거한 촬영 화상에 있어서의 상기 취득 유닛에 의해 취득된 데이터에 대해 가중을 크게 하도록 구성된 촬상장치.
  2. 제 1항에 있어서,
    상기 자동으로 처리된 촬영 화상은, 자동으로 촬영된 촬영 화상, 자동으로 편집된 촬영 화상, 자동으로 외부 기기에 전송된 촬영 화상, 및 파일 자동 삭제를 통해 삭제되지 않은 촬영 화상 중 적어도 어느 한개인 촬상장치.
  3. 제 1항에 있어서,
    상기 유저로부터의 지시에 근거한 촬영 화상은, 유저로부터의 지시에 의한 촬영 지시에 근거한 촬영 화상, 유저로부터의 지시에 근거하여 스코어가 부가된 촬영 화상, 촬상장치와 상호 통신가능한 외부 기기에 유저로부터의 지시에 의한 송신 지시에 근거하여 취득된 촬영 화상, 촬상장치와 상호 통신가능한 외부 기기에 기억된 촬영 화상, 유저로부터의 지시에 근거하여 서버에 업로드된 촬영 화상, 유저로부터의 지시에 근거하여 파라미터가 변경된 촬영 화상, 유저로부터의 편집 지시에 근거한 촬영 화상, 및 유저로부터의 지시에 근거하여 촬영 에어리어가 변경된 촬영 화상 중 적어도 어느 한개인 촬상장치.
  4. 제 1항에 있어서,
    상기 자동 촬영 처리는 촬영 트리거의 검출 처리를 포함하는 촬상장치.
  5. 제 1항에 있어서,
    상기 자동 촬영 처리는 촬영 방법의 판정 처리를 포함하는 촬상장치.
  6. 제 5항에 있어서,
    상기 촬영 방법의 판정 처리는, 정지화상의 1매 촬영, 정지화상의 연속 촬영, 동화상 촬영, 파노라마 촬영 및 타임 랩스 촬영 중 어느 한개를 판정하는 것인 촬상장치.
  7. 제 4항에 있어서,
    상기 촬영 트리거는, 특정한 피사체, 특정한 구도, 특정한 음향, 시간, 진동의 크기, 장소의 변화, 유저의 신체의 변화, 촬상장치 주위의 환경 변화 및 촬상장치의 상태의 검출 결과들 중에서 적어도 1개에 근거하여 검출되는 촬상장치.
  8. 제 1항 내지 제 7항 중 어느 한 항에 있어서,
    상기 자동 촬영 처리는 특정한 피사체의 탐색 처리를 포함하는 촬상장치.
  9. 제 8항에 있어서,
    촬영 렌즈와 촬상 소자를 포함하는 하우징을 적어도 한 개 이상의 축 주위로 회전 구동할 수 있도록 구성된 회전 기구를 구비하고,
    상기 특정한 피사체의 탐색 처리는 상기 회전 기구를 회전시킴으로써 행해지는 촬상장치.
  10. 제 8항에 있어서,
    줌을 위해 줌 렌즈를 구동 및 제어함으로써 상기 특정한 피사체의 탐색 처리를 행하는 촬상장치.
  11. 제 8항에 있어서,
    촬영 화상의 일부를 잘라내어, 상기 특정한 피사체의 탐색 처리를 행하는 촬상장치.
  12. 제 7항에 있어서,
    상기 특정한 피사체는 인물의 얼굴이고,
    자동으로 촬영된 촬영 화상은, 탐색중인 피사체가 나타나는 빈도와 인물의 표정에 근거하여 촬영된 촬영 화상인 촬상장치.
  13. 제 7항에 있어서,
    상기 특정한 피사체는 물체이고,
    자동으로 촬영된 촬영 화상은 물체 인식에 근거하여 촬영된 촬영 화상인 촬상장치.
  14. 제 1항 내지 제 7항 중 어느 한 항에 있어서,
    상기 촬영 유닛은, 기계학습에 근거하여 생성된 파라미터를 사용해서 상기 자동 촬영 처리를 실행하도록 구성되고,
    상기 변경 유닛은, 상기 취득 유닛에 의해 취득된 데이터를 사용한 기계학습에 근거하여 상기 파라미터를 갱신함으로써, 상기 자동 촬영 처리를 변경하도록 구성된 촬상장치.
  15. 촬영 화상을 편집하도록 구성된 편집 유닛과,
    촬영 화상에 관한 데이터를 취득하도록 구성된 취득 유닛과,
    상기 취득 유닛에 의해 취득된 데이터에 근거하여 상기 편집 유닛의 자동 편집 처리를 변경하도록 구성된 변경 유닛을 구비하고,
    상기 변경 유닛은, 상기 변경 유닛이 상기 자동 편집 처리를 변경할 때, 자동으로 처리된 촬영 화상에 있어서의 상기 취득 유닛에 의해 취득된 데이터보다도, 유저로부터의 지시에 근거한 촬영 화상에 있어서의 상기 취득 유닛에 의해 취득된 데이터에 대해 가중을 크게 하도록 구성된 촬상장치.
  16. 제 15항에 있어서,
    상기 편집 유닛은 기계학습에 근거하여 생성된 파라미터를 사용해서 상기 자동 편집 처리를 실행하도록 구성되고,
    상기 변경 유닛은 상기 취득 유닛에 의해 취득된 데이터를 사용한 기계학습에 근거하여 상기 파라미터를 갱신함으로써, 상기 자동 편집 처리를 변경하도록 구성된 촬상장치.
  17. 촬영 화상에 대해 자동 피사체 검출 처리를 실행하도록 구성된 검출 유닛과,
    촬영 화상에 관한 데이터를 취득하도록 구성된 취득 유닛과,
    상기 취득 유닛에 의해 취득된 데이터에 근거하여 상기 검출 유닛의 상기 자동 피사체 검출 처리를 변경하도록 구성된 변경 유닛을 구비하고,
    상기 변경 유닛은, 상기 변경 유닛이 상기 자동 피사체 검출 처리를 변경할 때, 자동으로 처리된 촬영 화상에 있어서의 상기 취득 유닛에 의해 취득된 데이터보다도, 유저로부터의 지시에 근거한 촬영 화상에 있어서의 상기 취득 유닛에 의해 취득된 데이터에 대해 가중을 크게 하도록 구성된 촬상장치.
  18. 제 17항에 있어서,
    상기 검출 유닛은, 기계학습에 근거하여 생성된 파라미터를 사용해서 상기 자동 피사체 검출 처리를 실행하도록 구성되고,
    상기 변경 유닛은, 상기 취득 유닛에 의해 취득된 데이터를 사용한 기계학습에 근거하여 상기 파라미터를 갱신함으로써, 상기 자동 피사체 검출 처리를 변경하도록 구성된 촬상장치.
  19. 촬영전에, 촬영할 것으로 판정된 피사체에 대하여, 상기 피사체가 촬영된다는 것을 통보하도록 구성된 통지 유닛과,
    촬영 화상에 관한 데이터를 취득하도록 구성된 취득 유닛과,
    상기 취득 유닛에 의해 취득된 데이터에 근거하여 상기 통지 유닛의 자동 통지 처리를 변경하도록 구성된 변경 유닛을 구비하고,
    상기 변경 유닛은, 상기 변경 유닛이 상기 자동 통지 처리를 변경할 때, 자동으로 처리된 촬영 화상에 있어서의 상기 취득 유닛에 의해 취득된 데이터보다도, 유저로부터의 지시에 근거한 촬영 화상에 있어서의 상기 취득 유닛에 의해 취득된 데이터에 대해 가중을 크게 하도록 구성된 촬상장치.
  20. 제 19항에 있어서,
    상기 통지 유닛은 기계학습에 근거하여 생성된 파라미터를 사용해서 상기 자동 통지 처리를 실행하도록 구성되고,
    상기 변경 유닛은, 상기 취득 유닛에 의해 취득된 데이터를 사용한 기계학습에 근거하여 상기 파라미터를 갱신함으로써, 상기 자동 통지 처리를 변경하도록 구성된 촬상장치.
  21. 저소비 전력 모드로 천이하도록 구성된 설정 유닛과,
    상기 저소비 전력 모드를 해제할 것인지 여부를 판정하도록 구성된 해제 판정 유닛과,
    촬영 화상에 관한 데이터를 취득하도록 구성된 취득 유닛과,
    상기 취득 유닛에 의해 취득된 데이터에 근거하여, 상기 설정 유닛과 상기 해제 판정 유닛의 적어도 1개의 자동 판정 처리를 변경하도록 구성된 변경 유닛을 구비하고,
    상기 변경 유닛은, 상기 변경 유닛이 상기 적어도 1개의 자동 판정 처리를 변경할 때, 자동으로 처리된 촬영 화상에 있어서의 상기 취득 유닛에 의해 취득된 데이터보다도, 유저로부터의 지시에 근거한 촬영 화상에 있어서의 상기 취득 유닛에 의해 취득된 데이터에 대해 가중을 크게 하도록 구성된 촬상장치.
  22. 제 21항에 있어서,
    상기 해제 판정 유닛은 기계학습에 근거하여 생성된 파라미터를 사용해서 상기 자동 판정 처리를 실행하도록 구성되고,
    상기 변경 유닛은, 상기 취득 유닛에 의해 취득된 데이터를 사용한 기계학습에 근거하여 상기 파라미터를 갱신함으로써, 상기 자동 판정 처리를 변경하도록 구성된 촬상장치.
  23. 흔들림을 보정하도록 구성된 흔들림 보정 유닛과,
    촬영 화상에 관한 데이터를 취득하도록 구성된 취득 유닛과,
    상기 취득 유닛에 의해 취득된 데이터에 근거하여 상기 흔들림 보정 유닛의 자동 흔들림 보정처리를 변경하도록 구성된 변경 유닛을 구비하고,
    상기 변경 유닛은, 상기 변경 유닛이 상기 자동 흔들림 보정처리를 변경할 때, 자동으로 처리된 촬영 화상에 있어서의 상기 취득 유닛에 의해 취득된 데이터보다도, 유저로부터의 지시에 근거한 촬영 화상에 있어서의 상기 취득 유닛에 의해 취득된 데이터에 대해 가중을 크게 하도록 구성된 촬상장치.
  24. 제 23항에 있어서,
    상기 흔들림 보정 유닛은 기계학습에 근거하여 생성된 파라미터를 사용해서 상기 자동 흔들림 보정처리를 실행하도록 구성되고,
    상기 변경 유닛은, 상기 취득 유닛에 의해 취득된 데이터를 사용한 기계학습에 근거하여 상기 파라미터를 갱신함으로써, 상기 자동 흔들림 보정처리를 변경하도록 구성된 촬상장치.
  25. 촬영 유닛에 의해 촬영된 촬영 화상에 관한 데이터에 근거하여 상기 촬영 유닛의 자동 촬영 처리를 변경하는 변경 단계를 포함하고,
    상기 변경 단계에서는, 상기 자동 촬영 처리를 변경할 때, 자동으로 처리된 촬영 화상에 있어서의 데이터보다도, 유저로부터의 지시에 근거한 촬영 화상에 있어서의 데이터에 대해 가중을 크게 하는 처리장치의 제어방법.
KR1020207010743A 2017-09-28 2018-09-20 촬상장치 및 그 제어방법 KR102405171B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227018268A KR102475999B1 (ko) 2017-09-28 2018-09-20 화상 처리장치 및 그 제어방법

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JPJP-P-2017-188938 2017-09-28
JP2017188938 2017-09-28
JPJP-P-2017-254231 2017-12-28
JP2017254231 2017-12-28
JPJP-P-2018-053078 2018-03-20
JP2018053078A JP6766086B2 (ja) 2017-09-28 2018-03-20 撮像装置およびその制御方法
PCT/JP2018/034818 WO2019065454A1 (ja) 2017-09-28 2018-09-20 撮像装置およびその制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227018268A Division KR102475999B1 (ko) 2017-09-28 2018-09-20 화상 처리장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20200049864A KR20200049864A (ko) 2020-05-08
KR102405171B1 true KR102405171B1 (ko) 2022-06-14

Family

ID=67062687

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207010743A KR102405171B1 (ko) 2017-09-28 2018-09-20 촬상장치 및 그 제어방법

Country Status (7)

Country Link
US (2) US11102389B2 (ko)
JP (3) JP6766086B2 (ko)
KR (1) KR102405171B1 (ko)
CN (1) CN111345028B (ko)
BR (1) BR112020006277A2 (ko)
DE (1) DE112018005025T5 (ko)
RU (1) RU2741480C1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4900891B2 (ja) * 2005-04-27 2012-03-21 キヤノン株式会社 通信装置及び通信方法
CN110012210B (zh) * 2018-01-05 2020-09-22 Oppo广东移动通信有限公司 拍照方法、装置、存储介质及电子设备
CN108391057B (zh) * 2018-04-04 2020-10-16 深圳市冠旭电子股份有限公司 摄像头拍摄控制方法、装置、智能设备及计算机存储介质
JP7348754B2 (ja) * 2019-06-03 2023-09-21 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
US10949715B1 (en) * 2019-08-19 2021-03-16 Neon Evolution Inc. Methods and systems for image and voice processing
JP7215382B2 (ja) * 2019-09-20 2023-01-31 株式会社デンソーウェーブ 監視システム
JP7438706B2 (ja) 2019-09-30 2024-02-27 キヤノン株式会社 撮像制御装置、撮像装置、及び撮像制御方法
US11412149B1 (en) * 2019-10-10 2022-08-09 Mehul Gandhi Autonomous positioning system for in interchangeable camera devices
CN114828734A (zh) * 2019-10-25 2022-07-29 达特碧株式会社 利用负压的口腔管理方法、口腔管理装置及记录有用于执行口腔管理方法的程序的计算机可读记录媒体
WO2021140879A1 (ja) * 2020-01-06 2021-07-15 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム
JP7471827B2 (ja) 2020-01-09 2024-04-22 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP7393245B2 (ja) 2020-02-26 2023-12-06 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US11451703B2 (en) * 2020-03-23 2022-09-20 Samsung Electronics Co.. Ltd. Method and system for customizing camera parameters
CN111929035B (zh) * 2020-07-27 2023-04-28 歌尔科技有限公司 心率模组led亮度检测方法和装置
WO2022044928A1 (ja) * 2020-08-25 2022-03-03 富士フイルム株式会社 撮像支援装置、撮像支援システム、撮像支援方法、及びプログラム
CN112135107B (zh) * 2020-09-25 2021-08-03 智洋创新科技股份有限公司 一种基于智能监拍装置的低功耗机芯控制方法
JP2022070464A (ja) 2020-10-27 2022-05-13 キヤノン株式会社 撮像装置、制御方法、およびプログラム
JP2022086195A (ja) 2020-11-30 2022-06-09 キヤノン株式会社 撮像装置、電子機器およびそれらの制御方法
JPWO2022201810A1 (ko) * 2021-03-24 2022-09-29
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
US20220366170A1 (en) * 2021-04-21 2022-11-17 Meta Platforms, Inc. Auto-Capture of Interesting Moments by Assistant Systems
US11861315B2 (en) * 2021-04-21 2024-01-02 Meta Platforms, Inc. Continuous learning for natural-language understanding models for assistant systems
JP2023006632A (ja) * 2021-06-30 2023-01-18 キヤノン株式会社 撮像装置、制御方法、およびプログラム
US11308657B1 (en) 2021-08-11 2022-04-19 Neon Evolution Inc. Methods and systems for image processing using a learning engine
CN116055859B (zh) * 2022-08-29 2023-10-20 荣耀终端有限公司 图像处理方法和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005347985A (ja) * 2004-06-02 2005-12-15 Seiko Epson Corp 学習機能付きカメラ
JP2007520934A (ja) * 2003-12-24 2007-07-26 ウオーカー ディジタル、エルエルシー 画像を自動的に捕捉し、管理する方法および装置
JP2015201819A (ja) * 2014-04-10 2015-11-12 株式会社東芝 画質改善システム、画質改善方法及びプログラム

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19511713A1 (de) 1995-03-30 1996-10-10 C Vis Computer Vision Und Auto Verfahren und Vorrichtung zur automatischen Bildaufnahme von Gesichtern
JPH09205574A (ja) 1996-01-24 1997-08-05 Fuji Photo Optical Co Ltd ビデオカメラ装置の制御方法
JPH09289609A (ja) 1996-04-24 1997-11-04 Aiphone Co Ltd カメラ監視装置
US6301440B1 (en) 2000-04-13 2001-10-09 International Business Machines Corp. System and method for automatically setting image acquisition controls
JP2002344957A (ja) 2001-05-11 2002-11-29 Hitachi Kokusai Electric Inc 画像監視装置
US6606458B2 (en) 2001-09-05 2003-08-12 Nisca Corporation Automatic framing camera
JP4268008B2 (ja) * 2003-10-08 2009-05-27 富士通株式会社 配送計画作成プログラムおよび配送計画作成方法
TWI235358B (en) 2003-11-21 2005-07-01 Acer Inc Interactive speech method and system thereof
JP2005184485A (ja) 2003-12-19 2005-07-07 Casio Comput Co Ltd 撮像装置、撮像装置の動作制御方法及びプログラム
JP2005217862A (ja) 2004-01-30 2005-08-11 Hitachi Kokusai Electric Inc 監視システム
EP1793580B1 (en) 2005-12-05 2016-07-27 Microsoft Technology Licensing, LLC Camera for automatic image capture having plural capture modes with different capture triggers
CN2904500Y (zh) 2006-06-01 2007-05-23 洪汉雄 可拍摄声源位置的摄像机
JP2008103784A (ja) 2006-10-17 2008-05-01 Hitachi Ltd 映像記録装置
US20110096149A1 (en) 2007-12-07 2011-04-28 Multi Base Limited Video surveillance system with object tracking and retrieval
JP5173861B2 (ja) 2008-01-17 2013-04-03 キヤノン株式会社 撮像装置及びその制御方法
JP2009177480A (ja) 2008-01-24 2009-08-06 Yamaha Corp 撮影装置
JP5109697B2 (ja) 2008-02-07 2012-12-26 ソニー株式会社 画像送信装置、画像受信装置、画像送受信システム、画像送信プログラムおよび画像受信プログラム
JP5141392B2 (ja) 2008-06-20 2013-02-13 カシオ計算機株式会社 撮像装置、周音範囲表示方法及びプログラム
US8364660B2 (en) * 2008-07-11 2013-01-29 Videosurf, Inc. Apparatus and software system for and method of performing a visual-relevance-rank subsequent search
JP2011188055A (ja) 2010-03-05 2011-09-22 Panasonic Corp 撮像装置
JP2012175533A (ja) 2011-02-23 2012-09-10 Sanyo Electric Co Ltd 電子機器
JP2012235257A (ja) 2011-04-28 2012-11-29 Panasonic Corp 撮影装置
JP2013054430A (ja) 2011-09-01 2013-03-21 Nikon Corp 画像評価装置、撮像装置およびプログラム
JP5906693B2 (ja) * 2011-11-30 2016-04-20 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
CN102496195A (zh) 2011-12-02 2012-06-13 宁波通亿物联技术有限公司 一种移动式引航记录仪
JP6007487B2 (ja) 2011-12-07 2016-10-12 富士ゼロックス株式会社 情報処理装置、情報処理システムおよびプログラム
CN102833476B (zh) 2012-08-17 2015-01-21 歌尔声学股份有限公司 终端设备用摄像头和终端设备用摄像头的实现方法
CN203038337U (zh) 2012-12-21 2013-07-03 上海海达通信公司 桥吊无线全方位行车影像装置
CN103051838A (zh) 2012-12-25 2013-04-17 广东欧珀移动通信有限公司 一种摄像控制方法及装置
JP5847070B2 (ja) * 2012-12-27 2016-01-20 オリンパス株式会社 サーバ装置及び撮影装置
RU2541353C2 (ru) 2013-06-19 2015-02-10 Общество с ограниченной ответственностью "Аби Девелопмент" Автоматическая съемка документа с заданными пропорциями
US9800782B2 (en) 2013-10-14 2017-10-24 Narrative AB Method of operating a wearable lifelogging device
CN103595953B (zh) 2013-11-14 2017-06-20 华为技术有限公司 一种控制视频拍摄的方法和装置
US9351118B2 (en) 2014-04-11 2016-05-24 Keith Crutchfield Apparatus, systems and methods for visually connecting people
CN104978956A (zh) 2014-04-14 2015-10-14 美的集团股份有限公司 语音控制方法和系统
CN103957359B (zh) 2014-05-15 2016-08-24 努比亚技术有限公司 摄像装置及其对焦方法
JP2014211642A (ja) * 2014-06-09 2014-11-13 フリュー株式会社 写真撮影編集機、写真撮影編集機の処理方法、並びにプログラム
CN104092936B (zh) 2014-06-12 2017-01-04 小米科技有限责任公司 自动对焦方法及装置
JP2016033571A (ja) 2014-07-31 2016-03-10 キヤノン株式会社 カメラ雲台装置
CN104253944B (zh) 2014-09-11 2018-05-01 陈飞 基于目光连接的声音命令下达装置和方法
JP2016062637A (ja) 2014-09-12 2016-04-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 記録媒体、再生装置、および再生方法
JP6459329B2 (ja) 2014-09-17 2019-01-30 カシオ計算機株式会社 撮影装置、撮影方法及びプログラム
JP6503559B2 (ja) 2014-10-20 2019-04-24 ソニー株式会社 音声処理システム
JP6504808B2 (ja) 2014-12-22 2019-04-24 キヤノン株式会社 撮像装置、音声コマンド機能の設定方法、コンピュータプログラム、及び記憶媒体
JP6436760B2 (ja) * 2014-12-24 2018-12-12 キヤノン株式会社 ズーム制御装置、撮像装置、ズーム制御装置の制御方法、及びズーム制御装置の制御プログラム
CN105812969A (zh) 2014-12-31 2016-07-27 展讯通信（上海）有限公司 一种拾取声音信号的方法、系统及装置
WO2016125352A1 (ja) 2015-02-02 2016-08-11 富士フイルム株式会社 カメラ装置、撮像システム、制御方法及びプログラム
JP6374536B2 (ja) * 2015-02-02 2018-08-15 富士フイルム株式会社 追尾システム、端末装置、カメラ装置、追尾撮影方法及びプログラム
JP2016156877A (ja) 2015-02-23 2016-09-01 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN106292991A (zh) 2015-06-01 2017-01-04 中兴通讯股份有限公司 一种降低终端设备功耗的方法及装置
JP6668700B2 (ja) 2015-11-18 2020-03-18 カシオ計算機株式会社 撮影装置、画像評価方法及びプログラム
JP6667268B2 (ja) * 2015-11-26 2020-03-18 キヤノン株式会社 動きベクトル検出装置およびその制御方法、撮像装置
CN105938657B (zh) 2016-06-27 2018-06-26 常州加美科技有限公司 一种无人驾驶车辆的听觉感知与智能决策系统
JP6665066B2 (ja) 2016-09-28 2020-03-13 コスモ石油ルブリカンツ株式会社 滑り案内面用潤滑油組成物
US11615566B2 (en) * 2017-05-10 2023-03-28 Fotonation Limited Multi-camera vehicle vision system and method
US20190077353A1 (en) * 2017-09-13 2019-03-14 International Business Machines Corporation Cognitive-based vehicular incident assistance
US11032468B2 (en) * 2017-12-26 2021-06-08 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image capturing apparatus, and storage medium
GB2570792B (en) * 2017-12-26 2020-09-30 Canon Kk Image capturing apparatus, method of controlling the same, and storage medium
JP6852141B2 (ja) * 2018-11-29 2021-03-31 キヤノン株式会社 情報処理装置、撮像装置、情報処理装置の制御方法、および、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007520934A (ja) * 2003-12-24 2007-07-26 ウオーカー ディジタル、エルエルシー 画像を自動的に捕捉し、管理する方法および装置
JP2005347985A (ja) * 2004-06-02 2005-12-15 Seiko Epson Corp 学習機能付きカメラ
JP2015201819A (ja) * 2014-04-10 2015-11-12 株式会社東芝 画質改善システム、画質改善方法及びプログラム

Also Published As

Publication number Publication date
JP7077376B2 (ja) 2022-05-30
DE112018005025T5 (de) 2020-07-09
RU2741480C1 (ru) 2021-01-26
CN111345028A (zh) 2020-06-26
US11102389B2 (en) 2021-08-24
JP2019106694A (ja) 2019-06-27
US20210337100A1 (en) 2021-10-28
BR112020006277A2 (pt) 2020-10-20
JP2020205637A (ja) 2020-12-24
JP2022111133A (ja) 2022-07-29
JP7423685B2 (ja) 2024-01-29
JP6766086B2 (ja) 2020-10-07
KR20200049864A (ko) 2020-05-08
US11729487B2 (en) 2023-08-15
CN111345028B (zh) 2021-11-30
US20200228692A1 (en) 2020-07-16

Similar Documents

Publication Publication Date Title
KR102405171B1 (ko) 촬상장치 및 그 제어방법
KR102475999B1 (ko) 화상 처리장치 및 그 제어방법
JP6641447B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
CN111294488B (zh) 摄像设备及其控制方法和存储介质
CN109981976B (zh) 摄像设备及其控制方法和存储介质
JP6641446B2 (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、記憶媒体
US11303802B2 (en) Image capturing apparatus, control method therefor, and storage medium
CN110557560B (zh) 摄像设备及其控制方法和存储介质
JP2019110509A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP7403218B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
CN111105039A (zh) 信息处理设备及其控制方法和存储器
CN111512625B (zh) 摄像设备及其控制方法和存储介质
JP7199808B2 (ja) 撮像装置およびその制御方法
JP2020071873A (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2020145556A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent