KR102019177B1 - 화상처리장치, 전자기기, 화상처리방법 및 프로그램 - Google Patents

화상처리장치, 전자기기, 화상처리방법 및 프로그램 Download PDF

Info

Publication number
KR102019177B1
KR102019177B1 KR1020170168299A KR20170168299A KR102019177B1 KR 102019177 B1 KR102019177 B1 KR 102019177B1 KR 1020170168299 A KR1020170168299 A KR 1020170168299A KR 20170168299 A KR20170168299 A KR 20170168299A KR 102019177 B1 KR102019177 B1 KR 102019177B1
Authority
KR
South Korea
Prior art keywords
image
unit
additional information
input
display
Prior art date
Application number
KR1020170168299A
Other languages
English (en)
Other versions
KR20180065957A (ko
Inventor
? 히라이
이재성
정위 첸
마사키 사토
료 오노
Original Assignee
가부시키가이샤 모르포
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 모르포 filed Critical 가부시키가이샤 모르포
Publication of KR20180065957A publication Critical patent/KR20180065957A/ko
Application granted granted Critical
Publication of KR102019177B1 publication Critical patent/KR102019177B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02—Viewfinders
    • G03B13/10—Viewfinders adjusting viewfinders field
    • G03B13/12—Viewfinders adjusting viewfinders field to compensate for change of camera lens or size of picture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/565—Optical accessories, e.g. converters for close-up photography, tele-convertors, wide-angle convertors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

입력화상을 확대 표시할 때에, 확대 표시를 유지하면서, 출력화상으로서 사용되고 있지 않는 입력화상 데이터 영역의 정보를 열람 가능하게 하는 것.
화상처리장치는, 입력화상으로부터 특정영역을 설정하는 특정영역 설정부와, 상기 입력화상으로부터 상기 특정영역을 제외한 영역인 비특정영역의 적어도 일부에 관한 정보인 부가정보를 설정하는 부가정보 설정부와, 상기 특정영역 및 상기 부가정보를 출력화상으로서 표시부에 표시시키는 표시제어부를 구비한다. 확대된 특정영역의 화상과 부가정보를 동시에 열람 가능하게 함으로써, 종래보다 유효하게 입력화상의 정보를 활용할 수 있다.

Description

화상처리장치, 전자기기, 화상처리방법 및 프로그램 {IMAGE PROCESSING APPARATUS, ELECTRONICS EQUIPMENT, IMAGE PROCESSING METHOD AND PROGRAM}
본 발명은, 화상을 확대하여 표시하는 화상처리장치, 및 카메라 부착 휴대기기에 망원 기능을 구비한 광학기기를 장착한 전자기기 등에 관한 것이다.
종래부터, 스마트폰 등의 카메라 부착 휴대기기에, 쌍안경이나 망원경 등의 망원 기능을 구비한 광학기기를 장착하는 장착장치가 알려져 있다(예컨대, 특허문헌 1). 또, 촬상시의 손떨림 등에 기인하는 촬상화상의 왜곡이나 흔들림 보정을 행하는 화상처리장치가 알려져 있다(예컨대, 특허문헌 2).
일본 공개특허공보 2015―200700
WO2014/069632 공보
WO2012/127618 공보
쌍안경 등의 광학 줌에 의해 확대된 화상은, 디지털 줌에 비해 화질이 좋다고 하는 이점이 있지만, 배율 변경 등의 조작을 사용자 자신이 열람 중에 수동으로 행할 필요가 있기 때문에, 열람에 집중할 수 없다고 하는 문제가 있다. 한편, 화상 데이터를 디지털 처리함으로써 화상을 확대하는 디지털 줌은, 화질에 있어서는 광학 줌에 뒤떨어지지만, 배율 변경이나 장면에 따른 촬영 모드의 변경 등을 재빠르고 용이하게 행할 수 있다. 또, 촬영의 보조가 되는 알림 등 여러 가지 정보를 표시화면에 표시할 수 있다고 하는 이점이 있다.
스마트폰 등의 디지털 줌 기능을 가지는 카메라 부착 휴대기기에, 광학 줌식의 망원 기능을 구비한 광학기기를 장착함으로써, 광학 줌의 화질과 디지털 줌 조작성의 양쪽의 이점을 겸비하는 것이 가능해진다.
광학기기로 광학 줌 된 화상은 휴대기기에 입력되고, 또한 이 입력화상(광학 출력화상)이 휴대기기로 디지털 줌 되는 경우, 최종적으로 사용자가 열람하는 출력화상은, 휴대기기에 입력된 입력화상(광학 출력화상)의 일부를 잘라낸(切出) 화상이 된다. 즉, 입력화상(광학 출력화상)으로서 휴대기기에는 입력되어 있지만, 출력화상으로서 사용되지 않은 화상 데이터 영역이 존재하게 된다. 그렇지만, 종래의 화상처리장치에 있어서는, 사용자에게는, 출력화상을 열람한 상태에서 출력화상으로서 사용되지 않은 화상 데이터 영역의 정보를 파악하는 수단이 존재하지 않는다. 그 때문에, 입력화상 데이터 속의 정보를 유효하게 활용할 수 없다고 하는 문제가 있다.
예컨대, 축구 경기 등의 스포츠 씬을 촬영하는 경우, 휴대기기의 카메라의 디지털 줌을 사용하여, 볼(ball)을 중심으로 한 확대화상을 열람하는 장면이 상정된다. 그때, 사용자는 휴대기기의 표시화면에 확대 표시되어 있는 출력화상을 열람하고 있기 때문에, 현재의 출력화상에 표시되어 있지 않은 위치에서 다른 선수가 어떤 움직임을 하고 있는지를 파악하기 위해서는, 줌 아웃 조작을 행할(디지털 줌의 확대 배율을 낮추는 또는 디지털 줌을 해제할) 필요가 있다. 이 경우, 본래 주목하고 있는 볼 부근의 화상정보도 줌 아웃 되어 버려, 시인(視認)하기 어려워진다는 문제가 있다.
본 발명은, 이러한 과제를 감안하여 이루어진 것으로서, 그 목적으로 하는 바는, 사용자가 출력화상의 열람을 계속한 상태에서, 현재의 출력화상으로서 표시되어 있지 않은 영역의 정보를 입력화상으로부터 취득하여 사용자에게 제공하는 것에 있다.
상기 과제를 해결하기 위해, 이하의 수단을 채용했다. 다만, 후술하는 발명을 실시하기 위한 형태의 설명 및 도면에서 사용한 부호는 참고를 위해 괄호로 부기하지만, 본 발명의 구성요소는 상기 부기한 것으로는 한정되지 않는다.
제1 발명은,
화상처리장치로서,
표시부(표시부(22, 300))와, 화상을 입력하는 입력부(입력부(10, 110))와, 상기 입력부에 입력되는 입력화상으로부터 특정영역(절출(切出) 데이터 영역(52))을 설정하는 특정영역 설정부(절출 화상 설정부(13, 173))와, 상기 특정영역을 상기 표시부에 표시시키는 표시제어부(표시제어부(20, 180))와, 상기 입력화상으로부터 상기 특정영역을 제외한 영역인 비(非)특정영역(비(非)절출 데이터 영역(53))의 적어도 일부에 관한 정보인 부가정보를 설정하는 부가정보 설정부(보조화상 설정부(16, 176))와, 상기 부가정보를 상기 표시부에 표시시키는 부가정보 표시제어부(표시제어부(20, 180))를 구비하고, 상기 특정영역 설정부(절출 화상 설정부(13, 173))는, 상기 입력화상의 갱신에 대응하여 상기 특정영역을 갱신하고, 상기 부가정보 설정부(보조화상 설정부(16, 176))는, 상기 입력화상의 갱신에 대응하여 상기 부가정보를 갱신하는,
화상처리장치이다.
이에 의하면, 입력화상으로부터 설정된 특정영역과, 입력화상으로부터 특정영역을 제외한 영역인 비특정영역의 적어도 일부에 관한 정보인 부가정보를, 사용자가 표시부에 있어서 확인하는 것이 가능해진다. 또, 입력화상의 갱신에 대응하여 특정영역을 갱신하고, 입력화상의 갱신에 대응하여 부가정보를 갱신함으로써, 입력화상의 갱신과 아울러, 특정영역 및 부가정보의 표시를 갱신할 수 있다. 이로써, 사용자가 출력화상의 열람을 계속한 상태에서, 예컨대, 현재의 출력화상으로서 표시되어 있지 않은 영역의 정보를 부가정보로서 입력화상으로부터 취득하여 사용자에게 제공하는 것이 가능해진다.
또, 제2 발명으로서,
제1 발명의 화상처리장치로서,
상기 부가정보 표시제어부(표시제어부(20, 180))는, 상기 부가정보와 상기 특정영역(절출 데이터 영역(52))의 위치 관계를 대응시켜 상기 부가정보를 상기 표시부에 표시시키는,
화상처리장치를 구성해도 좋다.
또, 제3 발명으로서,
제1 또는 제2 발명의 화상처리장치로서,
상기 부가정보(아이콘(65))는, 상기 비특정영역(비절출 데이터 영역(53))에 포함되는 오브젝트에 관한 정보인,
화상처리장치를 구성해도 좋다.
또, 제4 발명으로서,
제3 발명의 화상처리장치로서,
상기 부가정보(아이콘(65))는, 상기 오브젝트의 위치에 관계하는 정보인,
화상처리장치를 구성해도 좋다.
또, 제5 발명으로서,
제3 또는 제4 발명의 화상처리장치로서,
상기 오브젝트는, 사전 설정된 특징에 합치하는 오브젝트인,
화상처리장치를 구성해도 좋다.
또, 제6 발명으로서,
제3 또는 제4 발명의 화상처리장치로서,
상기 오브젝트는, 사용자에 의해 지정된 오브젝트, 또는, 사용자에 의해 지정된 특징에 합치하는 오브젝트인,
화상처리장치를 구성해도 좋다.
또, 제7 발명으로서,
제3∼6으로부터 선택되는 어느 하나의 발명의 화상처리장치로서,
상기 부가정보 표시제어부(표시제어부(20, 180))는, 상기 오브젝트의 위치로부터 상기 특정영역(절출 데이터 영역(52))까지의 거리에 기초하여, 그 오브젝트에 대응한 부가정보(아이콘(65))를 상기 표시부(표시부(22, 300))에 표시시킬지 아닐지를 결정하는,
화상처리장치를 구성해도 좋다.
또, 제8 발명으로서,
제1∼7로부터 선택되는 어느 하나의 발명의 화상처리장치로서,
상기 부가정보 표시제어부(표시제어부(20, 180))는, 상기 표시부(표시부(22, 300))에 있어서, 상기 부가정보(아이콘(65))를 상기 특정영역(절출 데이터 영역(52))의 표시영역보다 외측에 표시시키는,
화상처리장치를 구성해도 좋다.
또, 제9 발명으로서,
제1∼8로부터 선택되는 어느 하나의 발명의 화상처리장치로서,
상기 부가정보는, 상기 비특정영역(비절출 데이터 영역(53))을 변형시킨 화상인,
화상처리장치를 구성해도 좋다.
또, 제10 발명으로서,
제9 발명의 화상처리장치로서,
상기 부가정보는, 상기 특정영역(절출 데이터 영역(52))으로부터의 거리에 따라 상기 비특정영역(비절출 데이터 영역(53))을 변형시킨 화상인,
화상처리장치를 구성해도 좋다.
또, 제11 발명으로서,
제1∼10으로부터 선택되는 어느 하나의 발명의 화상처리장치로서,
상기 특정영역 설정부(절출 화상 설정부(13, 173))에 의한 상기 특정영역(절출 데이터 영역(52))의 갱신의 주기는, 상기 부가정보 설정부(보조화상 설정부(16, 176))에 의한 상기 부가정보(아이콘(65))의 갱신의 주기보다 짧은,
화상처리장치를 구성해도 좋다.
또, 제12 발명으로서,
제1∼11로부터 선택되는 어느 하나의 발명의 화상처리장치로서,
상기 특정영역 설정부(절출 화상 설정부(13, 173))는, 사용자에 의해 선택된 오브젝트 또는 사용자에 의해 지정된 조건에 합치하는 오브젝트인 대상 오브젝트를 포함하도록 상기 특정영역(절출 데이터 영역(52))을 설정하는,
화상처리장치를 구성해도 좋다.
또, 제13 발명으로서,
제1∼11로부터 선택되는 어느 하나의 발명의 화상처리장치로서,
상기 특정영역 설정부(절출 화상 설정부(13, 173))는, 사용자 입력에 의해 상기 부가정보(아이콘(65))가 선택된 경우에는, 상기 부가정보에 대응하는 오브젝트를 대상 오브젝트로서 포함하도록 상기 특정영역(절출 데이터 영역(52))을 설정하는,
화상처리장치를 구성해도 좋다.
또, 제14 발명으로서,
제12 또는 13 발명의 화상처리장치로서,
상기 특정영역 설정부(절출 화상 설정부(13, 173))는, 상기 입력화상의 갱신에 따라, 상기 대상 오브젝트가 포함되도록 상기 특정영역(절출 데이터 영역(52))을 갱신하는,
화상처리장치를 구성해도 좋다.
또, 제15 발명으로서,
제14 발명의 화상처리장치로서,
상기 특정영역 설정부(절출 화상 설정부(13, 173))는, 상기 입력화상의 갱신에 따라, 상기 대상 오브젝트가 포함되도록 상기 특정영역(절출 데이터 영역(52))의 확대 표시율을 변화시키는,
화상처리장치를 구성해도 좋다.
또, 제16 발명으로서,
제12∼14로부터 선택되는 어느 하나의 발명의 화상처리장치로서,
촬상부(카메라(23), 촬상부(500))와,
상기 대상 오브젝트를 포함하는 특정영역(절출 데이터 영역(52))이 상기 입력화상의 중심에 가까워지도록, 상기 촬상부에 의한 촬영방향을 바꾸도록 사용자에게 촉구하는 알림부를,
더 구비하는 화상처리장치를 구성해도 좋다.
또, 제17 발명으로서,
제12∼15로부터 선택되는 어느 하나의 발명의 화상처리장치로서,
상기 대상 오브젝트가 상기 입력화상에 포함되지 않게 된 경우에, 그 취지를 상기 표시부(표시부(22, 300))에 표시시키는 정보 표시제어부(표시제어부(20, 180))를 더 구비하는 화상처리장치를 구성해도 좋다.
제18 발명은,
입력화상을 표시 가능한 표시부(표시부(22, 300))를 구비하는 화상처리장치로서,
상기 입력화상에 휘도가 특정 조건을 만족하는 오브젝트가 포함되는 경우에, 상기 입력화상의 휘도를 조정하는 휘도 조정부(처리부(100), 표시제어부(20, 180))를 구비하는,
화상처리장치이다.
이 경우, 상기 휘도 조정부가, 상기 오브젝트에 대응하는 화상영역의 휘도를 저하시키도록 해도 좋다.
제19 발명은,
촬상부(카메라(23), 촬상부(500))와, 표시부(표시부(22, 300))와, 상기 촬상부의 위치정보에 기초하여, 태양방향을 계산하는 계산부(처리부(100))와, 상기 계산된 태양방향으로 상기 촬상부를 향하지 않게 경고하는 정보를 상기 표시부에 표시시키는 표시제어부(표시제어부(20, 180))를 구비하는,
화상처리장치이다.
또, 다른 발명으로서,
제19 발명의 화상처리장치로서,
위성측위 시스템(GPS 등)과 관성항법 시스템(INS 등) 중 적어도 어느 하나를 이용하여 상기 촬상부의 위치를 산출하는 위치 산출부(처리부(100))를 더 구비하고,
상기 계산부는, 상기 위치 산출부에 의해 산출된 위치에 대응하는 위치정보에 기초하여, 태양방향을 계산하는,
화상처리장치를 구성해도 좋다.
제20 발명은,
화상처리장치로서,
표시부(표시부(22, 300))와, 화상을 촬영하는 촬상부(카메라(23), 촬상부(500))와, 상기 촬상부에 의해 촬영된 화상을 입력하는 입력부(입력부(10, 110))와, 상기 입력부에 입력되는 입력화상을 확대하여 상기 표시부에 표시시키는 표시제어부(표시제어부(20, 180))와, 상기 촬상부의 움직임을 검출하여 보정 지표치를 설정하는 보정 지표치 설정부(움직임 판정부(11, 171), 흔들림 보정부(15, 175))를 구비하고,
상기 표시제어부(표시제어부(20, 180))는, 상기 입력화상의 갱신에 대응하여, 상기 보정 지표치에 기초하여 상기 표시를 갱신하는,
화상처리장치이다.
또, 제21 발명으로서,
제20 발명의 화상처리장치로서,
상기 표시제어부(표시제어부(20, 180))는, 상기 보정 지표치가 제1 임계치보다 큰 경우에, 상기 표시의 확대율을 낮추도록 갱신하는,
화상처리장치를 구성해도 좋다.
또, 제22 발명으로서,
제20 또는 21 발명의 화상처리장치로서,
상기 표시제어부(표시제어부(20, 180))는, 상기 보정 지표치가 제2 임계치보다 작은 경우에, 상기 보정 지표치가 제2 임계치보다 큰 경우에 비해, 흔들림의 억제를 강하게 하여 상기 표시를 갱신하는,
화상처리장치를 구성해도 좋다.
또, 제23 발명으로서,
제20 발명의 화상처리장치로서,
상기 보정 지표치 설정부(움직임 판정부(11, 171), 흔들림 보정부(15, 175))는, 입력화상에 있어서의 확대 표시 범위의 위치에 기초하여 상기 보정 지표치를 변화시키는,
화상처리장치를 구성해도 좋다.
또, 제24 발명으로서,
제20 발명의 화상처리장치로서,
상기 보정 지표치 설정부(움직임 판정부(11, 171), 흔들림 보정부(15, 175))는, 입력화상에 있어서의 오브젝트의 위치에 기초하여 상기 보정 지표치를 변화시키는,
화상처리장치를 구성해도 좋다.
또, 제25 발명으로서,
제20 발명의 화상처리장치로서,
상기 촬상부에 의해 연속적으로 촬상된 입력화상에 있어서의 각각의 특정영역(절출 데이터 영역(52))에 관하여, 소정 오브젝트가 포함되는 특정영역과, 소정 오브젝트가 포함되지 않는 특정영역이 존재하는 경우에, 소정 오브젝트의 특징이 소정 조건을 만족하는 경우에는, 소정 오브젝트가 포함되는 특정영역을, 소정 오브젝트가 포함되지 않는 특정영역으로 치환하는,
화상처리장치를 구성해도 좋다.
또, 제26 발명으로서,
제20 발명의 화상처리장치로서,
상기 촬상부에 의해 연속적으로 촬상된 입력화상에 있어서의 각각의 특정영역(절출 데이터 영역(52))에 관하여, 소정 오브젝트가 포함되는 특정영역과, 소정 오브젝트가 포함되지 않는 특정영역이 존재하는 경우에, 소정 오브젝트의 특징이 소정 조건을 만족하는 경우에는, 소정 오브젝트가 포함되는 특정영역에 있어서의 상기 소정 오브젝트의 영역을, 소정 오브젝트가 포함되지 않는 특정영역의 대응 영역으로 치환하는,
화상처리장치를 구성해도 좋다.
또, 제27 발명으로서,
제20 발명의 화상처리장치로서,
상기 촬상부(카메라(23), 촬상부(500))의 렌즈와는 다른 외부 렌즈(광학 줌부(24, 550))를 부착 가능하고, 상기 외부 렌즈를 부착한 상태로 촬상된 입력화상에 있어서, 상기 외부 렌즈(광학 줌부(24, 550))의 부착 위치 또는 부착 각도를 특정하기 위한 정보를 검출하는 부착 정보 검출부(처리부(100))를 구비하는,
화상처리장치를 구성해도 좋다.
또, 제28 발명으로서,
제27 발명의 화상처리장치로서,
상기 부착 정보 검출부(처리부(100))에 의해 검출된 정보에 기초하여, 상기 외부 렌즈(광학 줌부(24, 550))가 적절히 부착되어 있는지 아닌지를 판정하는 판정부(처리부(100))를 구비하고, 상기 판정부의 판정결과에 기초하는 정보를 상기 표시부(표시부(22, 300))에 표시시키는,
화상처리장치를 구성해도 좋다.
또, 제29 발명으로서,
제27 발명의 화상처리장치로서,
상기 부착 정보 검출부(처리부(100))에 의해 검출된 정보에 기초하여, 상기 입력화상을 보정하는 입력화상 보정부(처리부(100))를 구비하는,
화상처리장치를 구성해도 좋다.
제30 발명은,
화상처리를 실행하기 위한 화상처리방법으로서,
화상을 입력하는 입력 스텝과, 상기 입력 스텝에서 입력되는 입력화상으로부터 특정영역을 설정하는 특정영역 설정 스텝(S250)과, 상기 특정영역을 표시부에 표시시키는 표시 제어 스텝과, 상기 입력화상으로부터 상기 특정영역을 제외한 영역인 비특정영역의 적어도 일부에 관한 정보인 부가정보를 설정하는 부가정보 설정스텝(S350)과, 상기 부가정보를 상기 표시부에 표시시키는 부가정보 표시제어 스텝을 포함하고,
상기 특정영역 설정 스텝은, 상기 입력화상의 갱신에 대응하여 상기 특정영역을 갱신하는 스텝을 포함하며,
상기 부가정보 설정스텝은, 상기 입력화상의 갱신에 대응하여 상기 부가정보를 갱신하는 스텝을 포함하는,
화상처리방법이다.
제31 발명은,
컴퓨터에 화상처리를 실행시키기 위한 프로그램으로서,
화상을 입력하는 입력 스텝과, 상기 입력 스텝에서 입력되는 입력화상으로부터 특정영역을 설정하는 특정영역 설정 스텝(S250)과, 상기 특정영역을 표시부(표시부(22, 300))에 표시시키는 표시 제어 스텝과, 상기 입력화상으로부터 상기 특정영역을 제외한 영역인 비특정영역의 적어도 일부에 관한 정보인 부가정보를 설정하는 부가정보 설정스텝(S350)과, 상기 부가정보를 상기 표시부에 표시시키는 부가정보 표시제어 스텝을 실행시키고,
상기 특정영역 설정 스텝은, 상기 입력화상의 갱신에 대응하여 상기 특정영역을 갱신하는 스텝을 포함하며,
상기 부가정보 설정스텝은, 상기 입력화상의 갱신에 대응하여 상기 부가정보를 갱신하는 스텝을 포함하는,
프로그램이다.
제32 발명은,
화상처리를 실행하기 위한 화상처리방법으로서,
촬상부에 의해 화상을 촬영하는 촬상 스텝과, 상기 촬영된 화상을 입력하는 입력 스텝과, 상기 입력 스텝에서 입력되는 입력화상을 확대하여 표시부(표시부(22, 300))에 표시시키는 표시 제어 스텝과, 상기 촬상부의 움직임을 검출하여 보정 지표치를 설정하는 보정 지표치 설정 스텝(S150, S300)을 포함하고,
상기 표시제어부 스텝은, 상기 입력화상의 갱신에 대응하고, 상기 보정 지표치에 기초하여 상기 표시를 갱신하는 스텝을 포함하는,
화상처리방법이다.
제33 발명은,
컴퓨터에 화상처리를 실행시키기 위한 프로그램으로서,
촬상부에 의해 화상을 촬영하는 촬상 스텝과, 상기 촬영된 화상을 입력하는 입력 스텝과, 상기 입력 스텝에서 입력되는 입력화상을 확대하여 표시부(표시부(22, 300))에 표시시키는 표시 제어 스텝과, 상기 촬상부의 움직임을 검출하여 보정 지표치를 설정하는 보정 지표치 설정 스텝(S150, S300)을 실행시키고,
상기 표시제어부 스텝은, 상기 입력화상의 갱신에 대응하여, 상기 보정 지표치에 기초하여 상기 표시를 갱신하는 스텝을 포함하는,
프로그램이다.
또, 다른 발명으로서,
상기의 어느 하나의 발명에 프로그램을 기록한 컴퓨터 독해 가능한 기록매체를 구성해도 좋다.
본 발명에 의하면, 사용자가 출력화상의 열람을 계속한 상태에서, 현재의 출력화상으로서 표시되어 있지 않은 영역의 정보를 입력화상으로부터 취득하여 사용자에게 제공할 수 있다.
도 1은, 화상처리장치의 기능 구성의 일례를 나타내는 블럭도이다.
도 2는, 입력화상과 출력화상의 일례를 나타내는 설명도이다.
도 3은, 화상처리장치의 처리의 흐름의 일례를 나타내는 플로차트이다.
도 4는, 입력화상과 출력화상의 일례를 나타내는 설명도이다.
도 5는, 출력화상의 다른 일례를 나타내는 설명도이다.
도 6은, 스마트폰의 기능 구성의 일례를 나타내는 블럭도이다.
도 7은, 표시제어처리의 흐름의 일례를 나타내는 플로차트이다.
도 8은, 화상 맵 생성처리의 흐름의 일례를 나타내는 플로차트이다.
도 9는, 화상 맵 데이터의 일례를 나타내는 도면이다.
도 10은, 움직임 판정처리의 흐름의 일례를 나타내는 플로차트이다.
도 11은, 디지털 줌 제어처리의 흐름의 일례를 나타내는 플로차트이다.
도 12는, 흔들림 보정처리의 흐름의 일례를 나타내는 플로차트이다.
도 13은, 절출 화상 설정처리의 흐름의 일례를 나타내는 플로차트이다.
도 14는, 보조화상 설정처리의 흐름의 일례를 나타내는 플로차트이다.
도 15는, 선택 피사체 표시의 일례를 나타내는 설명도이다.
도 16은, 선택 피사체 표시의 다른 일례를 나타내는 설명도이다.
도 17은, 선택 피사체의 알림 및 조작 가이드 표시의 일례를 나타내는 설명도이다.
도 18은, 의도하지 않은 물체의 제거처리시의 입력화상과 출력화상의 일례를 나타내는 도면이다.
도 19는, 카메라 렌즈와 망원렌즈의 위치 맞춤의 일례를 나타내는 도면이다.
도 20은, 카메라 렌즈와 망원렌즈의 위치 맞춤의 일례를 나타내는 도면과 그래프이다.
도 21은, 촬상 회피처리의 흐름의 일례를 나타내는 플로차트이다.
도 22은, 기록매체의 일례를 나타내는 도면이다.
이하, 도면을 이용하여, 본 발명을 적용한 적합한 실시형태의 일례에 대해 설명한다. 다만, 도면의 설명에 있어서 동일한 요소에는 동일한 부호를 붙이고, 중복하는 설명을 생략하는 경우가 있다. 또, 도면의 치수 비율은, 설명의 것과 반드시 일치하는 것은 아니다. 또, 본 발명을 적용 가능한 형태가, 이하 설명하는 실시형태로 한정되는 것은 아님은 물론이다.
［1. 화상처리장치］
본 실시형태에 관계되는 화상처리장치는, 확대 표시되어 있는 출력화상을 표시하면서, 출력화상에는 표시되어 있지 않은 영역으로서, 입력화상에 존재하는 영역의 정보를, 표시부에 출력하는 장치이다. 예컨대, 본 실시형태에 관계되는 화상처리장치는, 복수의 화상의 연속 촬영이나 동영상 촬영시에 채용된다.
본 실시형태에 관계되는 화상처리장치는, 예컨대, 휴대전화, 디지털카메라, PDA(Personal　Digital　Assistant) 등, 자원에 제한이 있는 모바일 단말에 적합하게 탑재되는 것이지만, 이들에 한정되지 않고, 예컨대 통상의 컴퓨터 시스템에 탑재되어도 좋다.
［1－1. 구성 및 원리］
(화상명의 호칭)
본 실시형태에 기재된 입력화상(50)이란, 화상처리장치의 입력부에 입력되는 화상이며, 화상처리장치의 카메라에 광학 줌부를 접속하여 광학 줌 기능을 사용한 경우는, 광학적으로 확대된 화상이 카메라를 통하여 화상처리장치에 입력된다.
이하의 설명 및 도면에 나타내는 입력화상(50)은, 입력화상 데이터, 입력 프레임, 또는 옵티컬(광학) 출력화상의 개념도이다. 또, 출력화상(60)이란 화상처리장치의 표시부에 표시되어, 사용자가 열람하는 화상이다. 디지털 줌을 사용하지 않는 경우는, 입력화상(50)(옵티컬 출력화상)이 출력화상(60)으로서 표시부에 표시된다. 디지털 줌 사용시에는, 출력화상(60)은 입력화상(50)(옵티컬 출력화상)을 디지털 줌 기능에 의해 확대한 화상이 된다. 본 실시형태에 있어서는, 특별히 설명하지 않는 경우는 광학 줌을 사용하지 않는 것으로 하여 설명하지만, 광학 줌을 사용하는 경우라도 같은 효과를 발휘하는 것은 명백하다.
또, 본 실시형태의 출력화상(60)은, 메인화상과 서브화상으로 구성된다. 출력화상을 확대 표시하는 경우는, 메인화상은 입력화상(50)의 데이터 일부의 영역(이하, 절출 데이터 영역(52)이라 칭한다)을 잘라낸 정보를 표시하는 화상이 되기 때문에, 이하의 설명에서는 메인화상을 절출 화상(62)이라 칭한다. 서브화상은, 입력화상(50)의 데이터 내의 절출 데이터 영역(52) 이외의 영역(이하, 비절출 데이터 영역(53)이라 칭한다)의 정보를 표시하는 화상이며, 이하, 보조화상(63)이라 칭한다. 다만, 보조화상(63)은, 그 의미로부터, 부가정보화상, 보조정보화상 등으로 칭해도 좋다.
도 1은, 본 실시형태에 있어서의 화상처리장치(1)의 기능 구성의 일례를 나타내는 블럭도이다. 화상처리장치(1)는, 입력부(10)와, 표시제어부(20)를 구비한다. 표시제어부(20)는, 움직임 판정부(11)와, 화상 맵 생성부(12)와, 절출 화상(메인화상) 설정부(13)와, 디지털 줌 제어부(14)와 흔들림 보정부(15)와 보조화상(서브화상) 설정부(16)를 구비한다. 이들은, 화상처리장치(1)의 도시하지 않은 처리부(처리장치)가 가지는 기능부(기능 블록)이며, 처리부는, CPU나 DSP 등의 프로세서나 ASIC 등의 집적회로를 가지고 구성된다.
입력부(10)는, 카메라(23)에 의해 촬상된 화상(이하, 「촬영화상」이라고 한다.), 움직임 센서(25)로부터의 출력정보 및 조작부(26)로부터 출력되는 정보를 입력하는 기능을 가지고 있다. 촬영화상은, 입력부(10)로부터 기억부(21)에 출력되어, 보존된다. 또, 입력부(10)는, 입력화상(이하, 입력 프레임 화상이라고 칭하기도 한다)의 화상 데이터를, 움직임 판정부(11) 및 화상 맵 생성부(12)에 출력하는 기능을 가지고 있다.
움직임 센서(25)는, 카메라(23)에 내장 또는 부설되는 센서이며, 사용자가 카메라(23)를 움직였을 때 카메라(23)의 움직임 정보를 검출한다. 움직임 센서(25)는, 3축의 가속도를 검출하는 가속도 센서나, 3축의 각속도(角速度)를 검출하는 각속도 센서(자이로 센서), 이들의 센서를 패키지화한 관성 계측장치(IMU：Inertial Measurement Unit) 등의 센서 유닛을 가지고 구성된다. 움직임 센서(25)는, 가속도나 각속도를 움직임 정보로서 검출하고, 검출한 움직임 정보를 움직임 판정부(11)에 출력한다. 움직임 센서(25)에 의해 검출되는 각속도나 가속도를 이용함으로써, 카메라(23)의 방향 및 변위를 검출할 수 있다. 움직임 센서(25)의 출력치는, 입력부(10)를 통하여 움직임 판정부(11) 및 흔들림 보정부(15)에 출력된다.
광학 줌부(24)는, 카메라(23)에 지그 등으로 탈착 가능하게 접속된, 망원 기능을 가지는 광학망원장치이다.
표시제어부(20)는, 기억부(21)에 기억되어 있는 입력 프레임 화상의 정보, 움직임 센서(25)에 의해 검출되는 카메라(23)의 움직임 정보, 조작부(26)로부터 입력되는 사용자의 조작 정보를 이용하여, 표시제어부(20) 내부에 설치된 움직임 판정부(11), 화상 맵 생성부(12), 디지털 줌 제어부(14), 흔들림 보정부(15), 절출 화상 설정부(13) 및 보조화상 설정부(16)를 제어함과 함께, 표시부(22)의 표시를 제어하는 기능을 가진다.
움직임 판정부(11)는, 움직임 센서(25)의 출력정보 또는 입력 프레임 화상 데이터를 이용하여, 카메라(23)의 움직임도(度)를 판정한다. 또는, 움직임 판정은, 현재의 입력 프레임 화상과 상기 입력 프레임 화상의 직전 또는 이전에 촬상된 과거의 입력 프레임의 화상 데이터를 이용하여, 판정하도록 해도 좋다. 또, 움직임 센서(25)의 출력정보와 입력 프레임 화상 데이터 양쪽을 이용해도 좋다.
사용자가 카메라(23)를 움직이는 동작으로서는, 카메라를 든 손의 흔들림 및 손떨림 등의 사용자가 의도하지 않은 동작과 사용자가 의도하는 동작이 있다. 사용자가 의도하는 동작으로서는, 주목하고 있는 피사체의 움직임에 추종하기 위해 카메라(23)를 움직이는 팬·틸트 동작 및 주목하는 피사체나 장면을 변경하기 위해 비교적 크게 카메라(23)를 움직이는 동작의 2종류로 상정된다. 이들의 특징에 입각함으로써, 카메라(23)의 움직임의 크기의 정도 등에 따라, 사용자가 행한 동작이, 팬·틸트 동작인지, 피사체 변경 동작인지 등을 판정하는 것이 가능하다.
구체적으로는, 예컨대, 움직임 센서(25)의 출력치에 대헤, 후술하는 카메라의 움직임도의 지표인 제1∼3 임계치의 3개의 임계치를 제3＞제2＞제1 임계치가 되도록 설정한다. 그리고, 움직임 센서(25)의 출력치가 제3 임계치 이상인 경우를 피사체 변경 동작으로 판정하고, 제2 임계치 이상이고 제3 임계치 미만 경우를 팬·틸트 동작으로 판정하도록 하면 좋다. 또, 제1 임계치 미만인 경우는 카메라가 움직이지 않는(고정) 것으로 판정하고, 제1 임계치 이상이고 제2 임계치 미만인 경우를, 약간 움직이고 있는(미동) 것으로 판정하도록 하면 좋다.
화상 맵 생성부(12)는, 입력화상(50)의 화상 데이터를 이용하여, 물체 인식, 인물 인식, 얼굴 인식 등의 공지의 수법에 따라, 입력화상(50) 내의 물체를 검출한다. 또, 화상 맵 생성부(12)는, 물체의 색 정보를 이용한 검출을 행하는 기능을 가진다. 검출된 물체의 위치정보는, 기억부(21)에 출력되고, 물체 검출을 행한 입력 프레임 번호마다 화상 맵 데이터로서 보존된다. 이때, 입력 프레임 전체에 대해 검출을 행하는 것이 바람직하지만, 그 경우는 데이터 처리의 부하가 커지기 때문에, 소정 프레임 간격마다, 예컨대 10프레임마다 검출을 행하도록 해도 좋다.
물체의 색 정보를 이용한 검출은, 사용자가 사전 등록한 색 정보에 기초하여 행한다. 색 정보에 기초하는 검출의 수법은, 예컨대 특허문헌 3(WO2012/127618 공보)에 기재되어 있는 바와 같이, 색의 움직임 정도를 평가함으로써 행할 수 있다. 구체적으로는, 우선, 화상 프레임 사이의 화소의 움직임도 및 화상 프레임에 포함되는 화소의 색을 취득한다. 계속하여, 움직임도에 기초하여 색의 움직임 정도를 나타내는 평가 스코어를 색마다 산출하고, 산출한 평가 스코어에 기초하여 동체(動體)를 검출한다. 여기서, 평가 스코어의 산출은, 색마다 상기 화상 프레임 내의 화소수 및 상기 화소의 움직임도를 누적하고, 화상 프레임 내의 누적 화소수 및 누적 움직임도에 기초하여 상기 색 평가 스코어를 산출하면 좋다. 또, 색마다 화소의 위치정보를 누적함으로써, 색마다의 누적 화소수 및 누적 위치정보에 기초하여 동체의 위치를 특정할 수 있다. 이상, 특허문헌 3에 개시되어 있는 수법에 대해 설명했지만, 본 실시형태에 적용 가능한 검출 수법은 이에 한정되지 않고, 특허문헌 3과는 다른 수법을 이용해도 좋다. 예컨대, 사전에 색 정보를 설정한 SVM(서포트 벡터 머신)이나 DL(딥 러닝)에 기초하여 행하도록 해도 좋다. 또, 스포츠 중계 등의 방송을 행하는 방송국이 배포 또는 판매하는 정보에 적합한 색 정보를 가지는 물체만을 검출하도록 해도 좋다.
절출 화상 설정부(13)는, 출력화상의 확대 표시를 행할 때의 절출 화상의 표시에 관계되는 정보를 설정한다. 상술한 바와 같이, 출력화상은 절출 화상(메인화상)과 보조화상(서브화상)으로 구성된다. 절출 화상 표시의 설정 정보는, 표시부(22)에 출력된다.
디지털 줌 제어부(14)는, 카메라(23)로부터 입력부(10)에 입력된 화상의 디지털 줌 배율을 제어하는 기능을 가진다. 디지털 줌 배율은, 사용자에 의해 조작부(26)를 통하여 예컨대 2배로 설정되고, 디지털 줌 배율 정보로서 디지털 줌 제어부(14)로부터 절출 화상 설정부(13)에 출력되며, 절출 화상 표시의 설정에 사용된다.
흔들림 보정부(15)는, 손떨림이나 롤링 셔터 왜곡 등의 불편을 배제하여 프레임 화상을 출력하는 기능을 가진다. 흔들림 보정처리에는, 공지된 보정처리의 수법을 적용할 수 있는데, 예컨대, 특허문헌 2(WO2014/069632 공보)에 개시되어 있는 수법을 이용하는 것이 가능하다. 특허문헌 2의 화상처리장치에서는, 화상 변형의 움직임을, 롤링 셔터 왜곡 성분과, 평행이동성분 또는 회전성분 중 적어도 한쪽과, 그 외의 성분의 3개로 나누어 취급하고, 각각 별개로 산출한다. 예컨대, 제거해야 할 롤링 셔터 성분을 손떨림 제거 등을 행하는 보정 대상에서 제외하는 것이 가능해진다. 이로써, 보정의 계산 비용이나 보정 필터의 설계를 용이하게 할 수 있다. 또한, 평행이동성분 또는 회전성분과, 보조 행렬이 포함되는 성분을 각각 다른 식에서 산출하고 있기 때문에, 사용자의 의도가 강하게 반영되는 평행이동성분 또는 회전성분과, 그 외의 나머지 성분을 서로 관련시키지 않고 독립하여 보정하는 것이 가능해진다. 즉, 사용자의 의도가 강하게 반영되는 움직임 성분과 그 이외의 움직임 성분을 다른 필터로 보정할 수 있기 때문에, 카메라의 움직임에 적절히 추종하면서 사용자가 의도하지 않는 움직임에 의한 불편을 해소하는 것을 양립시키는 것이 가능해진다.
이하, 특허문헌 2에 개시되어 있는 화상처리장치 및 화상처리방법에 대해 설명한다.
기준 프레임 화상(framei － 1)과 처리 대상의 프레임 화상(framei)의 움직임 데이터(움직임 벡터)를 움직임 데이터(P)라 한다. 또, 기준 프레임 화상(framei － 1)의 절출 영역(Ki － 1)과 출력 프레임 화상(out-framei － 1)을 관련짓게 하는 변환식(제1 투영 행렬)을 Pdst i －1이라 한다. 이 경우, 프레임 화상(framei)의 절출 영역(Ki)과, 출력 프레임 화상(out-framei)을 관련짓게 하는 변환식(제2 투영 행렬) Pdstti은, 움직임 데이터(P)와 제1 투영 행렬(Pdst i － 1)을 이용하여, Pdstti = P·Pdst i －1 (수식 1)으로 산출할 수 있다. 여기서, 수식 1의 상태에서는, 완전히 절출 영역을 고정하는 모드가 된다. 그렇지만, 사용자가 의도하는 움직임(예컨대 카메라의 평행이동이나 팬·틸트)에 대해서는 추종시키고, 손떨림 등의 불편은 제거할 필요가 있다. 예컨대, 하이패스 필터를 이용하여, 사용자가 의도하는 움직임 및 불편이 되는 움직임을 필터링한다. 이 경우, 제2 투영 행렬(Pdstti)은, Pdstti = HPF(P·Pdst i －1)(수식 2)이 된다. 여기서 HPF는, 하이패스 필터이다. 즉, 손떨림 등의 고주파 성분은 패스시켜 화면을 고정시키고, 사용자가 의도하는 움직임인 저주파 성분에 대해서는 컷 하여 화면을 사용자 움직임에 추종시킨다.
그렇지만, 움직임 데이터(P)에는, 롤링 셔터 왜곡 성분이 포함되어 있다. 롤링 셔터 왜곡이란, 카메라가 피사체에 대해 상대적으로 수평방향으로 이동한 경우에, 피사체가 수평방향으로 평행사변형 형상으로 일그러지고, 카메라가 수직방향으로 이동하는 경우에는, 피사체가 수직방향으로 확대·축소하도록 일그러지는 것이다. 이 롤링 셔터 왜곡 성분에 대해서는, 상시 보정할 필요가 있기 때문에, 하이패스 필터를 상시 패스시켜야 할 성분이다. 즉, 롤링 셔터 왜곡 성분에 대해서는, 하이패스 필터를 적용시킬 필요성이 없다. 따라서, 롤링 셔터 왜곡 성분을 분리시킨 상태에서, 사용자가 의도하는 움직임에 대해서는 추종시키고, 손떨림 등의 불편은 제거하는 구조를 구축할 필요가 있다. 상세한 설명은 특허문헌 2에 기재되어 있기 때문에 생략하지만, 롤링 셔터 왜곡이 없는 계의 제2 투영 행렬(Si)은, Si = HPF(N·Si－1)(수식 3)으로 표시된다. 또, 제2 투영 행렬(Pdst i)은, Pdst i = Di·Si = Di·HPF(N·Si－1)(수식 4)으로 표시된다. 여기서, N은 롤링 셔터 왜곡이 없는 계에 있어서의 움직임 데이터이고, Si －1은, 기준 프레임 화상(framei － 1)의 롤링 셔터 왜곡이 없는 화상인 RS_framei －1의 절출 영역과, 출력 프레임 화상(out-framei)을 관련짓게 하는 벡터(투영 행렬)이다.
제1 산출부는, 롤링 셔터 왜곡 성분을 포함하는 제1 행렬(Di)을 산출한다. 왜곡량은, 카메라의 이동 속도가 빨라질수록 많아 지기 때문에, 롤링 셔터 왜곡은, 카메라의 이동 속도를 이용하여 추정하는 것이 가능하다. 카메라의 이동 속도는 프레임 사이의 평행 이동량을 이용하여 추정할 수 있다. 따라서, 제1 산출부는, 예컨대 움직임 데이터(P)에 포함되는 평행 이동량에 기초하여, 롤링 셔터 왜곡 성분을 포함하는 제1 행렬(Di)을 산출한다. 제1 행렬(Di)을 산출함으로써, 처리 대상의 프레임 화상(framei)을 롤링 셔터 왜곡이 없는 계의 화상(RS_framei)으로 변환할 수 있다. 이로써, 움직임 데이터(P) 및 제1 행렬(Di)을 이용하여 롤링 셔터 왜곡이 없는 계에 있어서의 움직임 데이터(N)도 도출할 수 있다. 움직임 데이터(N)를 산출함으로써, 롤링 셔터 왜곡이 고려되어 있지 않은 N·Si －1에 관해서만 하이패스 필터를 적용할 수 있다.
그러나, N·Si －1은 행렬이기 때문에, N·Si －1을 이 상태로 하이패스 필터를 적용하면 처리가 복잡하게 될 우려가 있다. 이 때문에, N·Si －1의 움직임 성분을, 사용자의 의도가 반영된 카메라의 움직임과, 그 이외의 움직임 성분으로 분할하여 취급한다. 제2 산출부는, 사용자의 의도가 반영된 카메라의 움직임을 포함하는 제2 행렬을 산출한다. 보조 행렬 산출부는, 그 이외의 움직임을 포함하는 보조 행렬을 산출한다.
제2 산출부는, 사용자의 의도가 반영된 카메라의 움직임을 포함하는 제2 행렬을 산출하기 위해 사용자 움직임 행렬(Ac)을 산출한다. 사용자 움직임 행렬(Ac)은, 촬상 방향에 직교하는 방향으로의 평행이동성분 및 촬상 방향을 기준으로 한 회전성분 중 적어도 한쪽을 포함한다. 제2 산출부는, 사용자 움직임 행렬(Ac)을 보정하여 제2 행렬을 산출한다. 제2 산출부는, 사용자가 의도했을 카메라의 움직임에 관해, 손떨림 등에 기인하는 고주파 성분을 없애는 기능을 가지고 있다. 제2 산출부는, 하이패스 필터를 이용하여 카메라 워크에 기인하는 주파수 성분을 제거한다.
제2 산출부는, 사용자 움직임 행렬(Ac)을 산출하고, 사용자 움직임 행렬(Ac)을 보정하여 제2 행렬을 산출한다. 예컨대, 하이패스 필터로 보정하여 제2 행렬을 얻는다. 움직임 행렬(Ac)은, 촬상 방향에 직교하는 방향으로의 평행이동성분 및 촬상 방향을 기준으로 한 회전성분 중 적어도 한쪽을 포함한다. 제2 산출부는, 움직임 데이터(P)로부터 사용자 움직임 행렬(Ac)을 산출할 수 있다. 구체적으로는, 제2 산출부는, 예컨대, 출력 프레임 화상(out-frame)을 제1 프레임 화상에 투영시키는 이미 알고 있는 제1 투영 행렬(Pdsti－1)과 움직임 데이터(P)를 이용하여, 프레임 화상(frame)의 중심 좌표를 특정한다. 그리고, 제2 산출부는, 출력 프레임 화상(out-frame)의 좌표(x, y)를 평행이동 및 회전시키고, 프레임 화상(frame)의 중심(X, Y)에 투영하는 사용자 움직임 행렬(Ac)을 산출한다. 요 성분, 롤 성분 및 피치 성분에 대해서는, 예컨대, 중심 부근의 이동량과 초점거리로부터 어느 정도 정확하게 추측할 수 있다. 또, 보조 행렬 산출부는, 움직임 정보(N), 제1 행렬(Di) 및 과거의 보조 행렬을 이용하여, 제1 행렬(Di) 및 제2 행렬에 포함되지 않은 움직임 성분을 포함하는 보조 행렬을 산출한다.
제2 행렬은, 사용자 움직임 행렬(Ac)이 회전성분을 주로 포함하는 경우에는, 요 성분(yi), 피치 성분(pi) 및 롤 성분(ri)을 포함하는 사용자 움직임 행렬(Ac)에 하이패스 필터를 적용한 행렬로 할 수 있다. 보조 행렬은, 제1 행렬 및 제2 행렬에 포함되지 않은 성분(li)을 포함하는 움직임 행렬(Bc)에 하이패스 필터를 적용한 행렬로 할 수 있다. 출력 프레임 화상(out-framei)과 입력 프레임 화상(framei)을 대응짓게 하는 제2 투영 행렬(Pdst i)은, 제1 행렬(Di), 제2 행렬 및 보조 행렬을 이용하여, Pdst i = Di·HPF(yi)·HPF(pi)·HPF(ri)·HPF(li)(수식 5)으로 표시된다.
이상, 특허문헌 2에 개시되어 있는 수법에 대해 설명했지만, 본 실시형태에 적용 가능한 왜곡·손떨림 보정 수법은 이에 한정되지 않고, 특허문헌 2와는 다른 수법 및 계산식을 이용해도 좋다. 즉, 흔들림이 발현하는 요소인 평행·회전성분 등을 추정하고, 보정을 위한 필터를 상황에 따라 계수를 변화시키면서 적용하여, 왜곡·흔들림 보정을 행하는 수법이면 좋다.
보조화상 설정부(16)는, 보조화상의 표시에 관계되는 정보를 설정하는 기능을 가진다. 보조화상에 표시하는 정보는, 예컨대, 검출된 물체를 본뜬 아이콘 등으로 표시된다. 색 정보에 기초하는 물체 인식을 행하는 경우는, 검출된 물체의 색을 부여한 아이콘 등을, 검출된 위치에 대응하여 표시하면 적합하다. 보조화상 표시의 설정 정보는, 표시부(22)에 출력된다.
표시부(22)는, 절출 화상 설정부(13) 및 보조화상 설정부(16)로부터 출력된 설정 정보를 이용하고, 절출 화상 및 보조화상으로 구성되는 출력화상을 표시한다.
광학 줌부(24)는, 망원렌즈를 구비한 광학기기이며, 지그 등으로 카메라(23)에 접속되어 있다.
다만, 이하의 설명에서는, 특별히 설명하지 않는 경우는, 광학 줌부(24)에 의한 광학 줌은 사용되고 있지 않은 상태로서 설명하지만, 광학 줌을 사용하는 경우에서도, 같은 효과를 발휘하는 것은 명백하다.
(보조화상 표시의 예)
도 2 (1A) 및 (1B)와, 도 2 (2A) 및 (2B)는, 보조화상 표시를 이용하지 않는 종래 기술의 과제를 설명하는 도이다. 도 2 (3A) 및 (3B)는, 본 실시형태의 보조화상 표시의 하나의 태양(態樣)과 그 효과를 설명하는 도이다. 도 2의 설명에서는, 카메라(23)의 움직임은 없어, 왜곡 보정(손 흔들림 왜곡 보정이나 롤링 셔터 왜곡 보정)은 고려하지 않는 것으로 한다.
우선, 도 2 (1A) 및 (1B), 더불어, 도 2 (2A) 및 (2B)를 이용하여, 보조화상 표시를 이용하지 않은 종래 기술에 있어서의 입력화상(50)의 화상 데이터와 출력화상의 관계에 대해 설명한다.
도 2 (1A) 및 (1B)는 디지털 줌 기능을 사용하고 있지 않은 경우(디지털 줌 배율 1배) 일 때의, 입력화상의 화상 데이터와 출력화상의 관계를 나타내는 일례이다. 디지털 줌 기능을 사용하고 있지 않은 경우는, 도 2 (1A)의 입력화상(50)의 화상 데이터 영역(51)의 전체가, 도 2 (1B)의 출력화상(60)의 표시영역(61)에 표시된다. 즉, 도 2 (1A) 및 (1B)에 나타내는 바와 같이, 입력화상(50)의 화상 데이터 영역(51)에 포함되는 피사체(K) 및 피사체(L)는, 출력화상(60)의 표시영역(61)에 표시되어 있다.
다음으로, 도 2 (1A) 및 (1B)에 나타낸 디지털 줌 배율 1배 상태에서, 출력화상(60)을 디지털 줌 배율 2배로 변경한 상태의 입력화상(50)의 화상 데이터와 출력화상의 관계를, 도 2 (2A) 및 (2B)에 나타낸다.
도 2 (1B)의 출력화상(60)에 있어서 표시영역(61)의 중앙에 위치하고 있던 피사체(K)는, 도 2 (2B)에 있어서는 2배로 확대되어 표시되어 있다. 한편, 표시영역(61)의 단부 근처에 표시되어 있던 피사체(L)는, 도 2 (2B)의 출력화상(60)에서는 표시되지 않게 되어 있다.
디지털 줌 배율을 2배로 함으로써, 도 2 (2B)의 출력화상(60)은, 도 2 (2A)의 입력화상(50)의 화상 데이터의 일부를 잘라내어 2배로 확대한 화상이 된다. 즉, 도 2 (2A)의 입력화상(50)의 절출 데이터 영역(52)이 디지털 처리되어 2배로 확대되고, 도 2 (2B)의 출력화상(60)은 절출 화상(62)이 된다.
여기서, 도 2 (2A)의 입력화상(50)의 화상 데이터 영역(51)으로부터 절출 데이터 영역(52)을 제외한 비절출 데이터 영역(53)은, 입력화상(50)의 화상 데이터로서는 존재하고 있지만, 도 2 (2B)의 출력화상(60)에는 표시되지 않은 영역이 된다. 그 때문에, 출력화상(60)을 확대 표시한 경우, 사용자는 비절출 데이터 영역(53)의 정보를 열람할 수 없게 된다. 즉, 도 2 (1B)의 출력화상(60)에 있어서 표시되어 있던 피사체(L)가, 도 2 (2B)의 출력화상(60)에서 비표시로 되어 있는 것은, 피사체(L)가 비절출 데이터 영역(53) 내에 위치하기 때문이다. 이 상태에서 다시 비절출 데이터 영역(53)의 정보를 열람하기 위해서는, 디지털 줌을 해제하여 확대 표시를 중지할 필요가 있다. 이상이, 보조화상 표시를 이용하지 않은 종래 기술에 있어서의 입력화상(50)의 화상 데이터와 출력화상(60)의 표시 범위 관계의 설명이다.
다음으로, 도 2 (3A) 및 (3B)를 이용하여, 본 실시형태의 보조화상 표시를 적용한 경우의, 입력화상(50)의 화상 데이터와 출력화상(60)의 관계에 대해 설명한다. 피사체 및 디지털 줌의 배율은 도 2 (2B)와 동일하다.
도 2 (1B)와 마찬가지로, 도 2 (1B)의 출력화상(60)에 있어서 표시영역(61)의 중앙에 위치하고 있던 피사체(K)는, 도 2 (3B)에 있어서는 2배로 확대되어 표시되어 있다. 한편, 도 2 (1B)의 출력화상(60)에 있어서 표시영역(61)의 단부 근처에 위치하고 있던 피사체(L)는, 도 2 (3B)의 보조화상(63) 내에 피사체(L)를 본뜬 원형의 아이콘(65)으로서 모식적으로 표시되어 있다. 도 2 (3B)의 출력화상(60)의 절출 화상(62)은, 도 2 (3A)의 입력화상(50)의 절출 데이터 영역(52)을 2배로 확대한 화상이다. 다만, 색 정보에 기초하는 물체 인식에 의해 피사체(L)를 검출하고, 검출한 피사체(L)의 색을 상기 원형의 아이콘(65)에 부여하여 표시하는 등 하면, 보다 효과적이다.
그리고, 도 2 (3B)의 보조화상(63)은, 출력화상(60)으로부터 절출 화상(62)을 제외한 영역으로 설정되며, 도 2 (3A)의 입력화상(50)의 비절출 데이터 영역(53)의 정보를 표시하는 영역으로서 기능하고 있다.
이상 설명한 바와 같이, 본 실시형태의 화상처리장치(1)를 사용함으로써, 사용자는, 도 2 (3B)의 출력화상(60)을 열람함으로써, 메인화상인 절출 화상(62)에 확대 표시된 피사체(K)를 열람하면서, 확대 표시에 수반하여 표시되지 않게 된 피사체(L)의 위치정보, 색 정보 등을, 보조화상(63)을 시인함으로써 얻는 것이 가능해지고 있다. 즉, 출력화상(60)이 절출 화상(62)과 보조화상(63)을 가짐으로써, 사용자는 입력화상 데이터에 본래 포함되어 있는 정보를 종래보다 많이 파악할 수 있다.
［1－2. 처리］
도 3 및 도 4를 이용하여, 절출 화상(메인화상) 및 보조화상(서브화상)으로 구성하는 출력화상의 표시처리에 대해 설명한다. 도 3은, 표시제어처리의 흐름의 일례를 나타내는 플로차트이다. 도 4는, 축구 경기중의 한 장면을 촬영한 화상으로, 도 4 (1)은 입력화상 데이터, 도 4 (2)는, 도 2 (3B)와 마찬가지로, 디지털 줌을 2배로 하여, 출력화상을 절출 화상(메인화상) 및 보조화상(서브화상)으로 구성하여 표시한 예를 나타내고 있다.
다만, 설명을 간략화하기 위해, 도 4의 표시 예를 이용하여, 카메라(23)의 위치가 고정되어 있는 상태, 또한, 피사체인 축구 볼(X1), 검은색 유니폼 선수(Y1∼Y4) 및 흰색 유니폼 선수(Z1∼Z4)(이하, 볼(X1), 흑(Y1∼Y4) 및 백(Z1∼Z4)으로 칭한다)의 이동이 없는 상태, 즉 정점 촬영시의 정지화상에 상당하는 상태에 대해 설명한다.
표시제어처리는, 화상처리장치(1)의 표시제어부(20)가 기억부(21)에 기억되어 있는 표시제어 프로그램에 따라서 실행한다. 이 표시제어처리는, 사용자에 의해 화상처리장치(1)의 어플리케이션이 기동됨으로써 실행된다.
표시제어 프로그램이 기동되면, 우선, 화상 맵 생성부(12)가, 화상 맵 생성처리로서, 입력화상 데이터로부터, 사용자가 사전 등록한 색 정보에 기초한 물체 검출을 입력 프레임마다 실행하여, 화상 맵 데이터를 생성한다(S15). 화상 맵 데이터란, 입력 프레임마다 각 검출 물체의 위치정보(입력화상 데이터 내의 좌표 정보)가 기록된 데이터이다. 도 4의 예로 설명하면, 사용자가 사전 등록하는 색 정보는, 볼이나 유니폼의 색이며, 화상 맵 데이터는, 볼(X1), 흑(Y1∼Y4) 및 백(Z1∼Z4)의 위치정보를, 입력 프레임마다 기록한 데이터가 된다. 또, 입력 프레임에 대응지어, 디지털 줌 배율을 기록하도록 하면 적합하다.
다만, 물체 검출 및 위치정보의 기억은, 소정의 입력 프레임 간격마다 행하는 것으로 해도 좋다. 또, 화상 맵 데이터에 사용하는 각 물체의 위치(좌표)는, 예컨대, 각 물체를 둘러싸는 사각형을 설정하고, 그 사각형의 중심점으로 하면 좋다. 물체 검출에 있어서 윤곽 추출을 행하는 경우는, 그 추출한 윤곽을 각 물체를 둘러싸는 도형으로서 사용해도 좋다.
계속하여, 움직임 판정부(11)가 움직임 센서(25)의 출력치를 이용하여, 미리 설정한 복수의 임계치에 의해 카메라(23)의 움직임도를 판정하고, 판정결과를 디지털 줌 제어부(14) 및 흔들림 보정부(15)에 출력한다. 도 4의 예에서는, 카메라(23)는 고정되어 있기 때문에, 카메라(23)는 움직이지 않는 것으로 판정되어, 다음 처리로 진행된다.
디지털 줌 제어부(14)는, 조작부(26)를 통하여 입력된 디지털 줌 배율의 설정치를, 절출 화상 설정부(13)에 출력한다. 또, 디지털 줌 제어부(14)는, 움직임 판정부(11)에 의해 카메라(23)가 움직이고 있다고 판정된 경우는, 판정된 움직임 레벨에 따라, 디지털 줌 기능을 조정하는 기능을 가진다.
흔들림 보정부(15)는, 예컨대, 상술한 특허문헌 2에 개시되어 있는 수법을 이용하여, 손떨림 등의 움직임을 보정한다. 또, 흔들림 보정부(15)는, 움직임 판정부(11)에 의해 카메라(23)가 움직이고 있다고 판정된 경우는, 판정된 움직임 레벨에 따라, 보정 레벨을 변경 또는 보정을 해제하는 기능을 가진다.
다음으로, 절출 화상 설정부(13)가, 절출 화상(62)의 설정을 행하는 절출 화상 설정처리를 실행한다(S25). 카메라(23)의 움직임 정보 및 디지털 줌 배율 정보는, 각각 움직임 판정부(11) 및 디지털 줌 제어부(14)로부터, 절출 화상 설정부(13)에 출력된다. 도 4 (2)의 예에서는 절출 화상(62)의 중심위치는, 출력화상(60)의 중심위치에 일치하도록 설정되어 있다. 또, 절출 화상(62)의 표시 사이즈는, 표시부(22)의 사이즈, 사용자가 설정한 디지털 줌 배율(도 4에서는 2배) 및 출력화상(60)과 절출 화상(62)의 사이즈 비율의 설정치로부터 산출된다. 절출 화상(62)의 설정치는 표시부(22)에 출력된다. 절출 화상(62)은 입력 프레임마다 리얼타임으로 갱신된다.
또는, 보조화상(63)의 사이즈를 설정한 후, 보조화상 설정부(16)가 보조화상(63)의 설정치를 절출 화상 설정부(13)에 출력하고, 절출 화상 설정부(13)가, 보조화상(63)의 표시 사이즈 및 표시부(22)의 사이즈로부터 절출 화상(62)의 표시 사이즈를 설정하도록 해도 좋다.
그 다음으로, 보조화상 설정부(16)가, 보조화상(63)의 설정을 행하는 보조화상 설정처리를 실행한다(S35). 보조화상의 표시 사이즈는, 표시부(22)의 사이즈 및 절출 화상 설정부(13)로부터 출력되는 절출 화상(62)의 사이즈로부터 산출하여 설정된다.
여기서, 보조화상 설정부(16)는, 기억부(21)에 보존되어 있는 화상 맵 데이터(물체의 위치정보) 및 사전에 설정한 색 정보에 기초하여, 아이콘(65)의 표시위치, 사이즈, 색 등을 설정한다. 표시제어부(20)는, 절출 화상(62) 및 보조화상(63)의 설정치를 이용하여, 표시부(22)에 출력화상(60)을 표시한다.
다만, 모든 입력 프레임에 대해 물체 검출 및 화상 맵 데이터의 보존을 행하는 경우는, 보조화상(63)은 절출 화상(62)과 마찬가지로 모든 입력 프레임마다 리얼타임으로 갱신하는 것이 가능하다. 한편, 보조화상(63)의 갱신은 반드시 모든 입력 프레임마다 행할 필요는 없고, 소정의 프레임 간격마다 갱신하도록 설정하도록 해도 좋다. 그 경우는 예컨대, 물체 검출을 행하는 프레임 간격에 맞춰, 소정 프레임 간격마다, 예컨대 10프레임마다 보조화상(63)의 갱신을 행하도록 하면 좋다.
도 4 (2)의 예에서는, 각 아이콘(65)에는, 각각 대응하는 선수의 유니폼의 색 정보가 부가되어 있다. 예컨대, 흑(Y3)은, 절출 화상(62)의 영역 밖이면서 좌하방향에 위치하고 있는 것을 파악할 수 있다. 또, 흑(Y4)는, 절출 화상(62)의 영역 밖이면서 우상방향에 위치하고 있다. 또 백(Z3)은, 절출 화상(62)의 영역 밖이면서 좌방향에 위치하고 있다. 또, 백(Z4)는, 절출 화상(62) 영역 밖이면서 우하방향에 위치하고 있다. 또, 각 아이콘(65)의 도형의 크기(이 경우는 원의 직경)는, 절출 화상(62)의 중앙 또는 절출 화상(62)의 바로 옆 단부로부터의 거리에 대응한 크기이고, 거리가 가까울수록 크게 표시되도록 설정되어 있다. 예컨대, 백(Z3)과 흑(Y3)에서는, 백(Z3)의 아이콘 쪽을 크게 표시시키도록 설정되어 있다. 즉, 사용자는 보조화상(63)의 아이콘(65)을 시인함으로써, 어느 색의 유니폼 선수가 어느 방향으로, 대략 어느 정도의 거리에 존재하는지를 파악할 수 있다. 이와 같이 보조화상(63)을 설정하여, 절출 화상(62)과 동시에 출력화상(60) 내에 표시함으로써, 절출 화상(62)에 표시되어 있는 선수 이외의 정보(입력화상(50) 내의 비절출 데이터 영역(53)의 정보)를 한번 보고 시인 가능하게 되어, 디지털 줌 기능을 지속시킨 채로 다른 선수의 움직임을 파악할 수 있게 된다.
(보조화상 표시의 다른 예)
도 5는, 보조화상 표시의 다른 예를 나타내는 도이다.
도 4 (2)에 있어서는, 피사체를 본뜬 도형(원형의 아이콘(65))을 표시하는 예를 나타냈지만, 보조화상(63)의 표시형태는 이에 한정되는 것은 아니다. 도형은 다각형 및 피사체를 본뜬 모식도, 기호, 숫자, 문자 및 부호를 이용해도 좋고, 그들의 조합이라도 좋다. 또, 피사체에 대응하는 선수의 등번호나 이름을 표시해도 좋다. 도 5 (1)은, 원형의 아이콘(65)에 선수가 소속하는 팀마다 다른 색을 부여하고, 또한, 선수의 등번호를 아이콘(65) 내에 표시한 예이다.
또, 보조화상(63)으로서, 대응하는 위치의 입력화상(50)의 비절출 데이터 영역(53)을 변형 또는 압축하여 표시해도 좋다. 또, 예컨대 어안렌즈를 본뜬 표시형태로 해도 좋다. 압축 표시를 행하는 경우는, 예컨대, 비절출 데이터 영역(53) 전체를 소정의 압축율로 압축하면 좋다. 또는, 절출 데이터 영역(52)에 가까울수록 압축율을 낮게 하고, 멀수록 압축율을 높게 하도록 해도 좋다. 또는, 검출된 피사체 데이터를 포함하는 비절출 데이터 영역(53)만을 압축해도 좋다. 또는, 보조화상(63)의 표시 폭에 대응하여, 비절출 데이터 영역(53)을 예컨대 세로로 길게 또는 가로로 길게 변형 또는 압축하여 표시하도록 해도 좋다.
도 5 (2)는, 아이콘(65)을 대신하여, 입력화상(50)의 비절출 데이터 영역(53)을 화상 압축하여 표시한 예이다. 백(Z3), 흑(Y3), 흑(Y4) 및 백(Z4)의 피사체의 화상이, 비절출 데이터 영역(53) 내에 존재하는 위치에 대응하여, 보조화상(63) 내에 압축하여 표시(축소 표시)되어 있다.
또, 보조화상(63)에는 아이콘(65) 등 뿐 아니라, 텔레비전 방송에서 사용되는 텔롭(telop) 등의 다른 정보를 표시하는 영역을 설치해도 좋다.
또, 이들의 표시형태는, 사용자가 조작부(26)를 조작하여 선택 가능하게 하면 좋다. 또, 표시 및 비표시를 전환 가능하게 해도 좋다.
또, 도 4 (2)에 있어서는, 보조화상(63)의 화면 표시는, 사각형의 출력화상의 바깥 테두리의 4변에 폭을 가지게 한 형상으로 하고, 상하좌우 방향으로 균등한 표시영역 폭으로 했지만, 이에 한정되는 것은 아니다. 예컨대 절출 화상(62)의 네 모서리를 직각이 아니라 둥글게 한 형상으로 하고, 출력화상(60)으로부터 절출 화상(62)을 제외한 영역을 보조화상(63)으로 해도 좋다. 또, 입력화상(50) 내의 검출 물체의 존재 상황에 따라서, 보조화상(63)의 표시영역을 변형시켜도 좋다. 예컨대, 보조화상(63)의 표시는 반드시 출력화상(60)의 전체 주위(사각형의 경우는 4변)일 필요는 없고, 검출 물체의 존재 상황에 따라서, 사전에 등록한 물체가 검출되지 않는 방향에 관해서는, 물체가 검출된 다른 영역에 비해 보조화상(63)의 표시영역을 좁히도록 해도 좋다. 또는, 물체가 검출된 방향으로만 보조화상(63)을 표시시키도록 해도 좋다. 또는, 검출된 물체의 데이터량(화소량)이 많은 방향일수록, 보조화상(63)의 표시영역을 넓게 하도록 해도 좋다.
도 5 (3)은, 절출 화상(62)의 네 모서리를 둥글게 한 형상으로 하고, 보조화상(63)의 상하좌우 방향의 표시영역 폭을, 검출 물체의 존재 상황에 따라 변화시킨 예이다. 상방향의 입력화상 데이터의 비절출 데이터 영역(53)에는 검출 물체가 존재하지 않는 것을 나타내기 위해, 보조화상(63)의 상방향의 표시영역 폭이, 다른 방향보다 좁아지도록 표시되어 있다. 다음의 프레임 또는 소정 수 후의 입력 프레임에 있어서, 상방향의 비절출 데이터 영역(53) 내에 물체가 검출된 경우에는, 보조화상(63)의 상방향의 표시영역 폭을 상기 검출 물체가 표시되도록 변경하도록 설정하면 좋다.
본 실시형태에 의하면, 입력화상으로부터 설정된 절출 데이터 영역(52)과, 입력화상으로부터 절출 데이터 영역(52)을 제외한 영역인 비절출 데이터 영역(53)의 적어도 일부에 관한 정보로서의 보조화상(63)을, 사용자가 표시부에서 확인하는 것이 가능해진다. 또, 입력화상의 갱신에 대응하여 절출 데이터 영역(52)을 갱신하고, 입력화상의 갱신에 대응하여 보조화상(63)을 갱신함으로써, 입력화상의 갱신과 아울러, 절출 데이터 영역(52) 및 보조화상(63)의 표시를 갱신할 수 있다. 이로써, 사용자가 출력화상의 열람을 계속하는 상태에서, 현재의 출력화상으로서 표시되어 있지 않은 영역의 정보를 부가정보로서 입력화상으로부터 취득하여 사용자에게 제공하는 것이 가능해진다.
［2. 실시예］
다음으로, 상기의 화상처리장치를 구비하는 전자기기의 일례로서 휴대단말, 정보표시장치의 일종인 스마트폰(2)의 실시예에 대해 설명한다. 단, 본 발명을 적용 가능한 실시예가, 이하 설명하는 실시예로 한정되는 것이 아님은 물론이다.
［2－1. 기능 구성]
도 6은, 본 실시형태에 있어서의 화상처리장치(1)를 구비하는 스마트폰(2)의 기능 구성의 일례를 나타내는 블럭도이다.
스마트폰(2)은, 처리부(100)와, 조작부(200)와, 표시부(300)와, 소리 출력부(400)와, 촬상부(500)와, 통신부(600)와, 시계부(700)와, 진동부(750)와, 움직임 센서(760)와, 기억부(800)를 구비한다.
처리부(100)는, 기억부(800)에 기억되어 있는 시스템 프로그램 등의 각종 프로그램에 따라 스마트폰(2)의 각 부를 통괄적으로 제어하거나, 화상처리에 관계되는 각종 처리를 행하는 처리장치이며, CPU나 DSP 등의 프로세서나 ASIC 등의 집적회로를 가지고 구성된다.
처리부(100)는, 주요한 기능부로서, 입력부(110)와, 표시제어부(180)와, 알림부(140)를 가진다. 또, 표시제어부(180)는, 움직임 판정부(171)와, 화상 맵 생성부(172)와, 절출 화상 설정부(173)와, 디지털 줌 제어부(174)와, 흔들림 보정부(175)와, 보조화상 설정부(176)를 가진다. 이들의 기능부는, 도 1의 화상처리장치(1)가 구비하는 기능부에 각각 대응하는 것이다.
조작부(200)는, 조작 버튼이나 조작 스위치, 또는 별도 접속된 터치 펜이나 마우스 등, 사용자가 스마트폰(2)에 대한 각종 조작 입력을 행하기 위한 입력장치를 가지고 구성된다. 또, 조작부(200)는, 표시부(300)와 일체적으로 구성된 터치 패널(250)을 가지고, 이 터치 패널(250)은 사용자와 스마트폰(2)과의 사이의 입력 인터페이스로서 기능한다. 조작부(200)에서는, 사용자 조작에 따른 조작 신호가 처리부(100)에 출력된다.
표시부(300)는, LCD(Liquid Crystal Display) 등을 가지고 구성되는 표시장치이며, 처리부(100)로부터 출력되는 표시신호에 기초한 각종 표시를 행한다. 표시부(300)는, 터치 패널(250)과 일체적으로 구성되어 터치 스크린을 형성하고 있다. 표시부(300)에는, 촬영화상 등의 각종 화상이 표시된다.
소리 출력부(400)는, 스피커 등을 가지고 구성되는 소리 출력장치이며, 처리부(100)로부터 출력되는 소리 출력 신호에 기초한 각종 소리 출력을 행한다.
촬상부(500)는, 임의의 씬의 화상을 촬영 가능하게 구성된 촬상장치이고, CCD(Charge Coupled Device) 이미지 센서나 CMOS(Complementary MOS) 이미지 센서 등의 촬상 소자를 가지고 구성된다. 촬상부(500)는, 광신호를 전기신호로 변환하여, 디지털화한 촬영화상의 데이터를 처리부에 출력한다.
통신부(600)는, 장치 내부에서 이용되는 정보를 외부의 정보처리장치와의 사이에서 송수신하기 위한 통신장치이다. 통신부(600)의 통신방식으로서는, 소정의 통신규격에 준거한 케이블을 통하여 유선 접속하는 형식이나, 클래들이라 불리는 충전기와 겸용의 중간장치를 통하여 접속하는 형식, 근거리 무선통신을 이용하여 무선 접속하는 형식 등, 여러 가지의 방식을 적용할 수 있다.
시계부(700)는, 스마트폰(2)의 내부 시계이며, 예컨대 수정진동자 및 발진회로인 수정발진기를 가지고 구성된다. 시계부(700)의 계시 시각은, 처리부(100)에 수시 출력된다.
기억부(800)는, ROM이나 EEPROM, 플래쉬 메모리, RAM 등의 휘발성 또는 불휘발성 메모리나, 하드디스크장치 등을 가지고 구성되는 기억장치이다. 기억부(800)는, 처리부(100)가 스마트폰(2)을 제어하기 위한 시스템 프로그램이나, 각종 화상처리를 행하기 위한 프로그램이나 데이터를 기억한다.
본 실시예에 있어서, 기억부(800)에는, 처리부(100)에 의해 독해되고, 표시제어처리로서 실행되는 표시제어 프로그램(810)이 기억되어 있다. 표시제어 프로그램(810)은, 움직임 판정 프로그램(811)과, 화상 맵 생성 프로그램(812)과, 절출 화상 설정 프로그램(813)과, 디지털 줌 제어 프로그램(814)과, 흔들림 보정 프로그램(815)과, 보조화상 설정 프로그램(816)을 서브루틴으로서 포함한다.
또, 기억부(800)에는, 화상 데이터 기억부(820)와, 움직임 센서(760)의 정보를 격납하는 움직임 데이터 기억부(830)와, 사용자에 의해 사전에 설정된 정보를 격납하는 설정정보 기억부(840)가 포함된다. 또 화상 데이터 기억부(820)에는, 촬상부(500)로부터 처리부(100)로 입력된 촬영화상의 화상정보가 입력화상으로서 격납되는 입력화상 데이터베이스(825)와 입력화상의 화상 맵을 격납하는 화상 맵 데이터 테이블(821)과, 절출 화상의 설정 정보를 격납하는 절출 화상 설정 테이블(822)이 기억되어 있다. 입력화상 데이터베이스(825)에는, 과거 및 현재의 입력화상 데이터가, 입력 프레임마다 또는 소정 프레임 간격마다 보존되어 있다.
진동부(750)는, 모터 등을 가지고 구성되는 진동발생장치이고, 처리부(100)로부터 출력되는 진동 발생 신호에 기초한 각종 진동 발생을 행한다. 이 장치는, 사용자에게 알림 수단의 일례로서 스마트폰(2)을 진동시킬 때에 사용된다.
움직임 센서(760)는, 스마트폰(2)의 움직임 정보를 검출 가능하게 구성된 센서이다. 움직임 센서(760)는, 스마트폰(2)의 움직임 정보를 전기신호로 변환한 데이터를 처리부(100)에 출력한다.
광학 줌부(550)는, 망원렌즈를 구비한 광학기기이며, 접합장치(520)에 의해 스마트폰(2)의 촬상부(500)에 접속되어 있다. 다만, 이하의 설명에서는, 특별히 설명하지 않는 경우는, 광학 줌 기능을 사용하지 않는 상태로 하지만, 광학 줌 기능을 사용하는 경우라도 같은 효과를 발휘하는 것은 명백하다.
［2－2. 처리］
도 4에 나타낸 축구의 화상, 및 도 6∼14를 이용하여, 본 실시예의 스마트폰(2)의 한 종류에 대해 설명한다.
도 7은, 표시제어처리의 흐름의 일례를 나타내는 플로차트이다. 표시제어처리는, 스마트폰(2)의 처리부(100)가, 기억부(800)에 기억되어 있는 표시제어 프로그램(810)에 따라 실행하는 처리이다. 이 표시제어처리는, 사용자에 의해 스마트폰(2)의 어플리케이션이 기동됨으로써 실행된다.
［2－2－1. 화상 맵 생성처리］
처음으로, 표시제어부(180)는, 화상 맵 생성처리(S100)를 행한다.
도 8은, 화상 맵 생성처리의 일례를 나타내는 플로차트이다. 화상 맵 생성처리는, 처리부(100)의 화상 맵 생성부(172)가, 기억부(800)에 기억되어 있는 화상 맵 생성 프로그램(812)에 따라 실행하는 처리이다.
우선, 처음으로, 화상 맵 생성부(172)는, 기억부(800)에 기억되어 있는 설정정보 기억부(840)로부터 물체 정보를 독해한다(S101).
설정정보 기억부(840)에는, 사용자가 사전에 설정한 물체 정보, 예컨대 볼이나 유니폼의 색 등이 기억되어 있다. 본 실시예에서는, 설정정보 기억부(840)에는, 볼(X1), 검은색 유니폼 선수(Y) 및 흰색 유니폼 선수(Z)(이하, 흑(Y) 및 백(Z)으로 칭한다)의 정보가 기록되어 있다. 그 다음으로, 화상 맵 생성부(172)는, 입력화상 데이터베이스(825)로부터 입력화상(50)의 화상 데이터(입력 프레임)의 독해를 행한다(S103).
그 다음으로, 화상 맵 생성부(172)는, S101에서 독해한 물체 정보, 예컨대 사용자가 사전에 등록한 색 정보에 기초하여, 입력 프레임마다 물체 검출을 행함으로써, 검출된 각 물체의 위치를 특정하고, 상기 입력 프레임에 있어서의 각 검출 물체의 위치정보(상기 입력화상 데이터 내의 각 검출 물체의 좌표 정보)를 포함하는 화상 맵 데이터를 생성한다(S105). 생성한 화상 맵 데이터는, 화상 맵 데이터 테이블(821)에 보존하고(S107), 화상 맵 생성처리를 종료한다.
도 9에, 화상 데이터 기억부(820)에 격납된 화상 맵 데이터 테이블(821)의 일례를 나타낸다. 도 9에 나타내는 바와 같이, 화상 맵 데이터 테이블(821)에는, 예컨대, 현재 입력 프레임 및 과거 입력 프레임 중의 볼(X1), 흑(Y1∼Y4), 및 백(Z1∼Z4)의 위치정보가 시계열 정보와 함께 기억되어 있고, 각 위치정보는 각 프레임번호에 대응되어 있다. 위치정보는, 입력 프레임의 왼쪽 위를 원점으로 한 X 및 Y의 2방향의 좌표치이며, 단위는 픽셀이다. 다만, 물체 검출 및 위치정보의 기억은, 입력 프레임마다라도 좋고, 소정의 입력 프레임 간격마다, 예컨대 10프레임마다 행하는 것으로 해도 좋다. 또, 위치정보의 원점은, 왼쪽 위로 한정되지 않고, 예컨대 입력 프레임의 중심점으로 해도 좋다. 또, 입력 프레임에 대응지어, 디지털 줌 배율을 기록하도록 하면 적합하다.
이상 설명한 예에서는, 화상 맵 생성부(172)는, S101에서 독해한 물체 정보에 기초하여, 화상인식처리에 의해 물체 검출 및 물체 위치정보의 취득을 행한다고 했지만, 물체에 장착되는 GPS 유닛 등의 위성 측위 유닛으로부터의 신호에 기초하여 물체의 위치정보를 취득하도록 해도 좋다. 구체적으로는, 물체에 장착되는 GPS 유닛은, 측위용 위성의 일종인 GPS 위성으로부터 발신되어 있는 측위용 위성신호의 일종인 GPS 위성신호를 포함하는 RF신호를 수신한다. 그리고, GPS 유닛은, 수신한 RF신호로부터 GPS 위성신호를 포착하고, 포착한 GPS 위성신호에 기초하여 공지의 GPS 연산을 행하여 물체의 위치정보 등을 연산하며, 그 연산 결과를 GPS 연산신호로서 발신한다. GPS 연산신호는 스마트폰(2)의 통신부(600)에서 수신되어, 표시제어부(180)에 출력된다. 화상 맵 생성부(172)는, 사전에 설정정보 기억부(840)에 각 물체 ID에 관련지어 등록되어 있는 각 GPS 유닛의 ID정보에 기초하여, 각 물체의 GPS 연산신호를 상기 입력화상 데이터 내의 각 검출 물체의 좌표 정보로 변환하는 연산처리를 행하고, 화상 맵 데이터를 작성한다. GPS 유닛으로서, 축구 경기 등에서는, 유니폼이나 슈즈에 장착 가능한 소형의 GPS 태그를 사용하면 좋다. 자동차 레이스 등에서는, GPS 유닛으로서, 차량에 탑재되어 있는 GPS 장치(GPS 모듈)를 사용하면 좋다. 또, 일상적인 장면에서는, GPS 유닛으로서, 각종 장치나 차량 등에 탑재되는 내비게이션 장치에 내장되는 GPS장치(GPS 모듈)를 사용하면 좋다.
［2－2－2. 움직임 판정처리］
도 7로 돌아가, 표시제어부(180)는, 움직임 판정처리를 행한다(S150). 움직임 판정처리는, 처리부(100)의 움직임 판정부(171)가, 기억부(800)에 기억되어 있는 움직임 판정 프로그램(811)에 따라 실행하는, 촬상부(500)의 움직임(이하, 스마트폰(2)의 움직임이라고 칭한다)을 판정하는 처리이다. 움직임 판정처리 결과는, 디지털 줌 제어부(174), 및, 흔들림 보정부(175)에 출력되고, 디지털 줌 기능의 사용 필요 여부의 판단, 및, 손떨림 보정 레벨 적용 판단에 사용된다.
도 10은, 움직임 판정처리의 일례를 나타내는 플로차트이다. 이 예에서는, 스마트폰(2)의 움직임도의 지표로서, 3개의 임계치를, 제3 임계치＞제2 임계치＞제1 임계치가 되도록 설정한다. 임계치는, 움직임 센서(25)의 출력치에 대응하여 설정해도 좋고, 복수의 입력 프레임 화상 데이터로부터 산출한 움직임량에 대응하여 설정해도 좋다. 도 10을 이용하여, 복수의 임계치를 이용하여, 스마트폰(2)의 움직임을, 움직임 플래그 1∼4로 분류하여 움직임 데이터 기억부(830)에 보존하는 처리의 흐름을 설명한다.
움직임 판정 프로그램(811)이 실행되면, 우선, 스마트폰(2)의 움직임도가 제1 임계치 미만인 경우(S151：No)는, 스마트폰(2)은 거의 움직이지 않는다고 판정되어 움직임 플래그는 1로 설정된다(S153).
스마트폰(2)의 움직임도가 제1 임계치 이상인 경우(S151：Yes)는, 제2 임계치 이상인지 아닌지를 판정한다(S155). 제2 임계치 미만인 경우(S155：No)는, 움직임 플래그는 2로 설정된다(S157). 스마트폰(2)의 움직임도가 제2 임계치 이상인 경우(S155：Yes)는, 제3 임계치 이상인지 아닌지를 판정한다(S159). 제3 임계치 미만인 경우(S159：No)는, 움직임 플래그는 3으로 설정된다(S161). 제3 임계치 이상인 경우(S159：Yes)는, 움직임 플래그는 4로 설정된다(S163).
움직임 판정부(171)는, 설정된 움직임 플래그 정보(움직임 플래그 1, 2, 3, 4)를 움직임 데이터 기억부(830)에 보존하고(S170), 움직임 판정처리를 종료한다. 다만, 움직임 판정은 프레임마다가 아니라, 소정의 프레임마다(예컨대 10프레임마다) 행하도록 해도 좋다. 움직임 플래그 정보는, 움직임 판정을 행했을 때의 프레임에 대응지어, 움직임 데이터 기억부(830)에 기억시키도록 하면 적합하다.
(움직임 판정의 분류)
도 10에 나타내는 예에서는, 3개의 임계치(제1∼3 임계치)를 설정하고 스마트폰(2)의 움직임 판정을 행하여, 움직임 플래그 1∼4를 설정했다. 움직임 플래그 1, 2, 3, 4는, 각각, 1) 거의 움직이지 않음(이하, 고정이라고 칭한다), 2) 약간 움직이고 있음(이하, 미동이라고 칭한다), 3) 사용자의 팬·틸트 동작에 의해 약간 크게 움직이고 있음(이하, 팬·틸트라고 칭한다), 4) 사용자의 피사체 변경 또는 촬영장면 전환동작에 의해 크게 움직이고 있음(이하, 장면 전환이라고 칭한다), 의 4종류의 움직임을 상정한 것이다. 임계치를 적절히 설정함으로써, 상기 1)∼4)의 움직임을 판별하는 것이 가능하다.
(움직임도의 임계치 설정)
스마트폰(2)의 움직임도를 판정하기 위한 임계치 설정의 예에 대해 설명한다. 이하에 설명하는 임계치 설정의 기준이 되는 항목은, 단독으로 이용해도 좋고, 조합하여 이용해도 좋다.
1) 고정(움직임 플래그 1)이란, 예컨대 스마트폰(2)이 거의 움직이지 않는 또는 고정되어 있는 상태이며, 2) 미동(움직임 플래그 2)이란, 움직이고는 있지만 팬·틸트 동작 미만인 약간의 움직임을 상정하고 있다. 1) 고정(움직임 플래그 1)과 2) 미동(움직임 플래그 2)을 판별하는 제1 임계치는, 예컨대 고정 상태와 통상의 팬·틸트 동작 미만인 약간의 움직임을 판별 가능하게 설정하면 좋다.
2) 미동(움직임 플래그 2)과 3) 팬·틸트(움직임 플래그 3)를 판별하는 제2 임계치는, 통상의 팬·틸트 동작을 행하는 경우에 상정되는 움직임을 기준으로 하여 설정한다. 예컨대, 입력 프레임의 화상 데이터로부터 움직임도의 판정을 행하는 경우, 1080×1980 픽셀의 해상도 및 30fps의 촬영 조건하에서, 제2 임계치를 20 픽셀/프레임 정도로 설정하면 좋다.
3) 팬·틸트(움직임 플래그 3)와 4) 장면 전환(움직임 플래그 4)을 판별하는 제3 임계치는, 제2 임계치 설정과 같은 촬영 조건하에서, 50 픽셀/프레임 정도로 설정하면 좋다. 다만, 이상의 설명에서는, 입력 프레임으로부터의 산출치를 사용하여 임계치의 설정을 행했지만, 상술한 바와 같이, 움직임 센서(760)의 출력치에 기초하여 임계치의 설정을 행해도 좋고, 움직임 센서(760)의 출력정보와 입력 프레임으로부터의 산출치 양쪽에 기초하는 것으로 해도 좋다.
또, 임계치의 설정에는, 스마트폰(2)의 움직임의 가속도를 사용할 수도 있다. 3) 팬·틸트(움직임 플래그 3)는, 사용자가 특정 피사체의 움직임에 추종하여 스마트폰(2)을 움직이는 동작을 상정하고 있기 때문에, 스마트폰(2)의 움직임의 속도는 거의 일정하고 안정되게 움직이고 있는 상태(가속도가 작은 상태)이다. 한편, 4) 장면 전환(움직임 플래그 4)은, 다른 피사체 또는 다른 장면을 촬영하기 위해, 사용자가 스마트폰(2)을 빠르고 크게 움직이는 장면을 상정하고 있기 때문에, 움직임의 속도 변화는 급준(急峻, 가속도가 큰 상태)이 된다. 즉, 스마트폰(2)의 움직임의 가속도를 기준으로 하여 제3 임계치를 설정하여, 제3 임계치 미만인 경우는, 3) 팬·틸트(움직임 플래그 3)로 하고, 제3 임계치 이상인 경우를 4) 장면 전환(움직임 플래그 4)으로 판별하도록 해도 좋다. 가속도의 정보는, 움직임 센서(760)의 출력정보 또는 입력 프레임의 화상 데이터로부터 취득한 움직임의 속도로부터 산출하면 좋다.
또, 임계치의 설정에는, 입력 프레임 화상 데이터 사이에서 이동한 화소량을 사용할 수도 있다. 사용자가 어느 특정 피사체의 움직임에 추종하여 스마트폰(2)을 움직이고 있는 상태에서는, 입력 프레임 화상 데이터를 구성하는 복수의 화소의 위치는, 입력 프레임 화상 데이터 사이에서 거의 일정하게 된다. 한편, 사용자가 열람하는 피사체를 변경하거나, 촬영하는 장면을 전환한 상태에서는, 입력 프레임 화상 데이터를 구성하는 복수의 화소의 위치는, 입력 프레임 화상 데이터 사이에서 크게 다르게 된다. 즉, 입력 프레임 화상 데이터 사이에 있어서, 소정치 이상 이동하고 있는 화소의 양을 기준으로 하여 제3 임계치를 설정하여, 제3 임계치 미만인 경우는 3) 팬·틸트(움직임 플래그 3)로 하고, 제3 임계치 이상인 경우를 4) 장면 전환(움직임 플래그 4)으로 판별하도록 해도 좋다.
또, 임계치의 설정에는, 현재 및 과거의 입력 프레임 화상 데이터 내의 피사체 정보를 사용할 수도 있다. 상술한 바와 같이, 화상 맵 데이터 테이블(821)에는, 사전에 등록된 피사체의 위치정보가 화상 프레임 번호마다 기록된다. 즉, 위치정보가 기록되어 있지 않은 피사체는, 입력 프레임 화상에 존재하고 있지 않는 피사체이다. 즉, 소정 프레임수 중(예컨대 60프레임 중)에 소정의 확률(예컨대 80%)로 사전에 등록된 피사체 정보의 기록이 있는 경우, 또는 연속한 소정 프레임수 중(예컨대 15프레임 중)에 사전에 등록된 피사체 정보의 기록이 있는 경우는, 피사체 변경은 행해지지 않고 있다고 판단하여, 3) 팬·틸트(움직임 플래그 3)로 판정한다. 기록이 없는 경우는, 피사체 변경 또는 장면 전환이 행해졌다고 판단하여, 4) 장면 전환(움직임 플래그 4)으로 판정하도록 해도 좋다.
다만, 이상 설명한 임계치에 의한 판정은, 제1∼3 임계치 판정(S151, S155, S159) 종료 후에 즉시, 다음 처리인 움직임 플래그 1∼4의 설정(S153, S157, S161, S163)을 실행하지 않아도 좋고, 소정 기간 그 임계치 판정 상태가 유지된 경우에, 움직임 플래그의 설정을 행하도록 해도 좋다. 이와 같이 함으로써, 사용자의 조작 미스 등에 의해 사용자의 의도와 다른 움직임 판정처리가 이루어지는 것을 방지할 수 있다.
또, 움직임 판정부(171)의 현재 판정결과가, 1) 고정, 2) 미동, 3) 팬·틸트 및 4) 장면 전환 중 어느 것으로 되어 있는지를 사용자에게 알리도록 해도 좋다. 이와 같이 함으로써, 사용자는, 사용자가 의도하는 움직임 판정이 이루어지고 있는지 아닌지를 알 수 있다. 또, 어떻게 스마트폰(2)을 움직이면, 예컨대 팬·틸트 동작으로 판정되는지 아닌지를 인식할 수 있다. 의도하지 않는 움직임 판정이 알려지는 경우는, 스마트폰(2)을 움직이는 조작을 수정하거나, 움직이는 조작을 일단 중단할 수 있다.
또, 제1∼3 임계치는, 사용자가 변경할 수 있도록 해도 좋다. 예컨대, 2) 미동, 3) 팬·틸트 또는 4) 장면 전환으로 판정되는 빈도가 너무 많다고 사용자가 느낀 경우는, 각각 제1, 제2, 제3 임계치의 설정을 높이도록 하면 좋다.
또, 사용자가 조작부(200) 또는 터치 패널(250)을 조작함으로써, 1) 고정, 2) 미동, 3) 팬·틸트 및 4) 장면 전환의 전환을 행하도록 해도 좋다. 또, 예컨대 1) 고정과 2) 미동을 전환하는 버튼을 터치 패널(250)에 표시하고, 사용자가 전환 버튼을 손가락으로 탭하는 동작과 손가락을 떼는 동작에 의해, 1) 고정과 2) 미동을 전환 가능하게 해도 좋다. 이와 같이 사용자가 조작을 행하는 경우는, 움직임 판정부(171)에 의한 판정보다 사용자 조작에 의한 전환을 우선하여 스마트폰(2)의 움직임도(움직임 플래그 설정치)를 설정하도록 하면 좋다.
스마트폰(2)의 조작에는 개인차가 있기 때문에, 이와 같이 사용자 조작에 의한 설정 변경을 행함으로써 조작성을 향상시킬 수 있다.
［2－2－3. 디지털 줌 제어처리］
다음으로, 도 7로 돌아가, 표시제어부(180)는, 디지털 줌 제어처리를 행한다(S200). 디지털 줌 제어처리는, 디지털 줌 제어부(174)가, 기억부(800)에 기억되어 있는 디지털 줌 제어 프로그램(814)에 따라서 실행한다. 디지털 줌 제어부(174)는, 사용자가 조작부(200)를 통하여 설정한 디지털 줌의 배율을, 절출 화상 설정부(173)에 출력한다. 또, 디지털 줌 제어부(174)는, 움직임 판정부(171)로부터 출력된 스마트폰(2)의 움직임 정보인 움직임 플래그 설정치에 기초하여, 디지털 줌 기능을 조정하는 기능을 가진다.
사용자에게 있어서, 디지털 줌 기능으로 확대한 출력화상(60)을 보면서, 열람 대상의 피사체를 변경하는 동작 또는 촬영 장면 전환 동작을 행하는 것은 곤란하고, 확대 배율이 높아질수록 그 곤란도는 높아진다. 그 때문에, 그러한 경우는 디지털 줌 기능을 자동적으로 해제하는, 또는 그 기능에 의한 배율을 자동적으로 소정치(예컨대 2배 등)까지 저감시키는 것이 바람직하다. 이하, 도 11의 플로차트를 이용하여 디지털 줌 제어처리의 처리의 흐름을 설명한다.
우선, 디지털 줌 제어부(174)는, 움직임 데이터 기억부(830)로부터 움직임 플래그 설정치의 독해를 행한다(S201).
다음으로, 디지털 줌 제어부(174)는, 움직임 플래그가 4인지 아닌지를 판정한다(S202). 움직임 플래그가 4가 아닌 경우에는(S202：No), 움직임 플래그는 1∼3중 어느 하나이기 때문에, 디지털 줌 제어부(174)는, 디지털 줌 배율을 현재의 배율인 채 유지한다(S210). 움직임 플래그가 4인 경우에는(S202：Yes), 스마트폰(2)의 움직임은 4) 장면 전환이기 때문에, 디지털 줌 제어부(174)는, 디지털 줌이 해제되어(S220), 출력화상(60)은 줌 아웃 된다.
다만, 이상의 설명에서는, 움직임 플래그 4인 경우는 디지털 줌 기능은 해제된다고 했지만, 그 기능을 해제하지 않고, 배율을 소정치(예컨대 2배 등)까지 저감시키도록 해도 좋다. 또, 움직임 플래그 1∼3인 경우는 디지털 줌 기능은 현재의 배율인 채 계속된다고 했지만, 움직임 플래그 3의 3) 팬·틸트 동작에 대해서도, 움직임 플래그 4와 마찬가지로, 디지털 줌 기능을 해제 또는 그 기능의 배율을 소정치까지 저감시키도록 해도 좋다.
한편, 움직임 플래그 4의 경우(S202：Yes)도, 디지털 줌 제어부(174)는, 디지털 줌 기능을 즉시 해제 또는 배율의 저감을 실행하지 않아도 좋고, 움직임 판정부(171)로부터의 움직임 플래그 4의 출력이 소정 시간 유지되면 실행하도록 해도 좋다. 또는, 움직임 플래그 4의 경우는, 움직임 판정부(171)가 재차 움직임 판정처리를 행하도록 설정해도 좋다. 이와 같이 함으로써, 움직임 판정처리의 에러나 사용자의 조작 미스 등에 의해, 사용자의 의도와 다른 타이밍으로 디지털 줌이 해제되거나, 디지털 줌 배율이 저감되는 것을 방지할 수 있다.
［2－2－4. 흔들림 보정처리］
다음으로, 도 7로 돌아가, 흔들림 보정처리(S300)를 한다.
흔들림 보정처리는, 흔들림 보정부(175)가, 기억부(800)에 기억되어 있는 디지털 줌 제어 프로그램(814)에 따라 실행한다. 다만, 흔들림 보정처리에 대해서는, 특허문헌 2에 개시되어 있는 수법을 이용할 수 있다. 또, 이하의 설명에서는 디지털 줌에 의해 확대된 화상에 대한 흔들림 보정처리에 대해 설명하지만, 광학 줌과 디지털 줌을 합한 확대화상 및 입력화상(50)(광학 출력화상)에 대해서도 같은 흔들림 보정처리를 적용 가능한 것은 분명하다.
사용자가 망원 기능을 사용할 때는, 주목하는 피사체를 흔들림이 없는 고정된 상태로 열람하고 싶은 상황이 상정된다. 한편, 망원 출력화상(망원 화상)은, 줌 기능을 사용하지 않은 출력화상(비망원화상)에 비해, 사용자의 손떨림의 영향은 커져 버린다. 흔들림 보정을 행하는 주파수대로서는, 비망원화상에서는, 손떨림에 기인하는 고주파수대에 대해서만 흔들림 보정을 행하는 것이 통상이며, 이는, 스마트폰(2)의 약간의 움직임 등에 기인하는 저주파수대는 흔들림 보정의 대상 주파수대로 하지 않는 것을 의미한다. 그렇지만, 고정된 망원 화상을 얻기 위해서는, 비망원화상에서는 문제가 되지 않는 정도의 스마트폰(2)의 약간의 움직임에 대해서도 흔들림 보정을 행할 필요가 있다. 구체적으로는, 망원 화상에 있어서는, 비망원화상보다 넓은 주파수대, 즉, 손떨림에 기인하는 고주파수대 및 약간의 움직임 등에 기인하는 저주파수대 양쪽을 흔들림 보정의 대상 주파수대로 하는 것이 바람직하다.
한편, 팬·틸트 동작을 행할 때에는, 사용자가 의도하는 움직임에 추종시키기 위해, 팬·틸트 동작에 기인하는 저주파수대는 흔들림 보정의 대상으로는 되지 않고, 손떨림에 기인하는 고주파수대만을 흔들림 보정의 대상 주파수대로 하는 것이 바람직하다.
그 때문에, 망원 화상에 적용하는 흔들림 보정의 모드로서는, 움직임 용인의 레벨을 비망원화상보다 엄격하게 설정한 흔들림 보정 모드(흔들림 보정 모드 A：고주파 및 저주파수대를 보정하여 절출 화상(62)을 고정)와 팬·틸트 동작에 의한 움직임을 용인한 흔들림 보정 모드(흔들림 보정 모드 B：고주파수대만을 보정, 팬·틸트 동작은 허용)를 준비하고, 촬영 상황에 따라 사용자 또는 흔들림 보정부(175)가 흔들림 보정 모드의 전환을 가능하게 하면 적합하다.
보정 대상으로 하는 주파수대의 설정에는, 예컨대 하이패스 필터(이하, HPF라고 칭한다)를 사용하면 적합하다. HPF란, 설정한 차단 주파수보다 높은 주파수 성분은 패스시키고, 차단 주파수보다 낮은 주파수 성분을 컷 하는 필터이다. HPF를 사용하지 않는 경우는, 고주파부터 저주파수대까지의 주파수대에 대해 흔들림 보정처리가 행해진다. 손떨림에 기인하는 고주파수대만을 흔들림 보정의 대상 주파수대로 하는 경우에는, 차단 주파수를 높게, 즉 HPF 계수를 높게 설정한다. 보다 저주파수측까지를 흔들림 보정의 대상 주파수대로 하는 경우에는, 차단 주파수를 보다 낮게, 즉 HPF 계수를 보다 낮게 설정하면 좋다. 이와 같이 HPF에 의해 보정하는 주파수대를 적당히 전환하여 흔들림 보정처리를 행함으로써, 사용자가 의도하는 움직임인 팬·틸트 동작에 대해서는 흔들림 보정을 실행하지 않고 절출 화상(62)의 표시를 스마트폰(2)의 움직임에 추종시키고, 손떨림에 대해서는 흔들림 보정을 실행하여 절출 화상(62)의 표시로부터 손떨림에 의한 움직임을 제거하는 것이 가능해진다.
흔들림 보정부(175)가 자동적으로 흔들림 보정 모드를 전환하는 경우는, 움직임 센서(760)로부터의 출력치, 또는, 움직임 판정부(171)로부터 출력되는 움직임 판정결과(움직임 플래그 설정치)를 이용하여, 흔들림 보정부(175)가 흔들림 보정 모드의 변경을 행하도록 하면 좋다.
스마트폰(2)의 움직임도(움직임 플래그 1∼4)와 흔들림 보정 모드 설정의 일례에 대해 설명한다. 예컨대, 움직임 판정의 결과가 1) 고정(움직임 플래그 1)인 경우는, 움직임 용인의 레벨을 비망원화상보다 엄격하게 하기 위해, 움직임 판정의 결과가 2) 미동(움직임 플래그 2)인 경우에 비해 HPF 계수를 보다 낮게 설정한 상태, 또는 HPF를 사용하지 않는 상태로 흔들림 보정을 행한다(흔들림 보정 모드 A：고정). 이와 같이 함으로써, 보정하는 주파수대를 보다 광범위로 할 수 있어, 거의 또는 완전하게 고정된 상태의 절출 화상(62)을 얻을 수 있다. 또한, 움직임 판정의 결과가 3) 팬·틸트(움직임 플래그 3)인 경우는, 손떨림 기인의 고주파수대를 제거하여, 팬·틸트 동작을 용인하도록, 2) 미동(움직임 플래그 2)인 경우에 비해 HPF 계수를 높게 설정한 상태로 흔들림 보정처리를 행한다(흔들림 보정 모드 B：팬·틸트 허용). 차단 주파수보다 낮은 저주파수대 성분은 HPF에 의해 컷 되기 때문에, 흔들림 보정처리 대상으로는 되지 않는다. 한편, 차단 주파수보다 높은 손떨림에 기인하는 고주파수대 성분은 HPF를 패스하기 때문에, 흔들림 보정처리가 실행된다.
도 12를 이용하여, 흔들림 보정처리의 흔들림 보정 모드 설정의 흐름을 설명한다.
우선, 흔들림 보정부(175)는, 움직임 데이터 기억부(830)로부터 움직임 판정부(171)에 의해 설정된 움직임 플래그의 독해를 행한다(S251).
다음으로, 흔들림 보정부(175)는, 움직임 플래그가 1 또는 2인지 아닌지를 판정한다(S253). 움직임 플래그가 1 또는 2인 경우(S253：Yes), 흔들림 보정부(175)는, 흔들림 보정 모드를 A(고정)로 설정하고(S255), 흔들림 보정을 실행하여 처리를 종료한다. 움직임 플래그가 1 또는 2가 아닌 경우(S253：No), 흔들림 보정부(175)는 움직임 플래그는 3인지 아닌지를 판정한다(S260). 움직임 플래그가 3인 경우(S260：Yes), 흔들림 보정부(175)는, 흔들림 보정 모드를 B(팬·틸트 허용)로 설정하고(S265), 흔들림 보정을 실행하여 처리를 종료한다. 움직임 플래그가 3이 아닌 경우(S260：No), 움직임 플래그는 4로 판정되어, 흔들림 보정처리를 행하지 않고(S270) 처리를 종료한다.
다만, 움직임 판정의 결과가 4) 장면 전환(움직임 플래그 4)인 경우는, 피사체 변경 또는 장면 전환을 위해 스마트폰(2)이 크게 움직인 것이 상정되기 때문에, 디지털 줌 중은 흔들림 보정처리를 행하지 않는 설정으로 해도 좋다. 그 경우는, 도 12의 움직임 플래그 3인지 아닌지의 판단(S260)은 생략 가능하다. 또, 큰 움직임이 종료하여, 움직임 플래그가 4에서 3 이하로 변화한 타이밍에서, 흔들림 보정처리를 행하도록 하면 적합하다.
또, 디지털 줌 배율에 따라, 흔들림 보정을 행하는 주파수대를 자동적으로 변화시키도록 하면 적합하다. 구체적으로는, 디지털 줌 제어부(174)로부터 디지털 줌 배율의 값을 흔들림 보정부(175)에 출력한다. 흔들림 보정부(175)는, 디지털 줌 배율의 값에 따라, 배율이 높을수록 흔들림 보정을 행하는 주파수대를 넓히도록, 예컨대 차단 주파수를 낮추(HPF의 계수를 낮추)도록 하면 좋다.
또, 도 12의 설명에서 설명한 바와 같이, 스마트폰(2)의 움직임이 1) 고정(움직임 플래그 1) 또는 2) 미동(움직임 플래그 2)으로 판정된 경우는, 흔들림 보정 모드 A(고정)에 의해 흔들림 보정처리가 행해지기 때문에, 절출 화상(62)은 고정된 상태가 된다. 즉 사용자가 스마트폰(2)을, 3) 팬·틸트(움직임 플래그 3) 또는 4) 장면 전환(움직임 플래그 4)으로 판정될 정도로 크게 움직이지 않는 이상, 절출 화상(62)은 고정된 채로 된다. 이는, 사용자가 피사체를 쫓기 위해 스마트폰(2)을 움직여도, 절출 화상(62)은 피사체의 움직임에 추종할 수 없는 상태를 의미한다.
이러한 상태를 회피하기 위해서는, 사용자가 스마트폰(2)을 움직일 가능성이 높은 상황, 예컨대 절출 화상(62)의 중심위치가 입력화상(50)의 중심위치로부터 소정 거리 떨어진 경우에, 흔들림 보정부(175)가, 흔들림 보정 모드를 흔들림 보정 모드 A(고정)로부터 흔들림 보정 모드 B(팬·틸트 허용)로 변경하도록 하면 좋다. 이와 같이 함으로써, 3) 팬·틸트(움직임 플래그 3)로 판정될 정도로 스마트폰(2)이 크게 움직이지 않는 경우에 있어서도, 스마트폰(2)의 움직임에 추종하여 절출 화상(62)을 움직이는 것이 가능해진다.
또는, 이러한 상태를 회피하기 위해서는, 예컨대 절출 화상(62)의 중심위치가 입력화상(50)의 중심위치로부터 소정 거리 떨어진 경우에 있어서, 움직임 판정부(171)가, 2) 미동과 3) 팬·틸트를 판별하는 제2 임계치를 낮춰, 통상보다 3) 팬·틸트(움직임 플래그 3)로 판정되기 쉬운 값으로 제2 임계치를 완화함으로써, 흔들림 보정 모드를 A(고정)에서 B(팬·틸트 허용)로 변경되기 쉽게 해도 좋다. 이와 같이 임계치 설정을 변경함으로써, 스마트폰(2)이, 3) 팬·틸트(움직임 플래그 3)로 판정될 정도로 크게 움직이지 않는 경우에 있어서도, 스마트폰(2)의 움직임에 추종하여 절출 화상(62)을 움직이는 것이 가능해진다.
또, 사용자가 다시 스마트폰(2)을 움직여, 절출 화상(62)의 중심위치가 입력화상(50)의 소정 거리 내에 소정 시간(예컨대 1초간) 머무른 경우는, 제2 임계치의 완화를 캔슬함으로써, 흔들림 보정 모드를 B(팬·틸트 허용)에서 A(고정)로 자동적으로 전환되도록 하면 적합하다.
이상, 제2 임계치를 완화하는 것에 의한 방법을 설명했지만, 흔들림 보정 모드의 설정치를 변경하는 것에 의해서도 같은 효과를 얻을 수 있다. 이하, 그 방법에 대해 설명한다.
흔들림 보정 모드의 설정치의 변경은, 예컨대 2) 미동(움직임 플래그 2)에 상당하는 약간의 움직임을 허용하도록, 흔들림 보정을 행하는 주파수대를 1) 고정(플래그 1) 상태보다 좁히도록 설정한다. 구체적으로는, 2) 미동(움직임 플래그 2)에 상당하는 약간의 움직임을 허용하도록, 흔들림 보정 모드 A(고정)보다 높은, 또한 흔들림 보정 모드 B(팬·틸트 허용)보다 낮은 차단 주파수(낮은 HPF 계수)로 설정한 흔들림 보정 모드 A2(미동 허용)를 적용한다.
즉, 절출 화상(62)의 중심위치가 입력화상(50)의 중심위치로부터 소정 거리 떨어진 경우는, 자동적으로 흔들림 보정 모드 A2(미동 허용)로 전환하고, 보정하는 주파수대를 1) 고정(움직임 플래그 1)보다 고주파 측으로 좁힘(차단 주파수를 높은 방향, HPF 계수대의 방향으로 변경함)으로써, 2) 미동(움직임 플래그 2)에 상당하는 약간의 움직임에 기인하는 저주파 성분은 흔들림 보정 대상으로 하지 않게 하면 좋다.
이와 같이 함으로써, 스마트폰(2)이 3) 팬·틸트(움직임 플래그 3)로 판정될 정도로 크게 움직이지 않는 경우에 있어서도, 스마트폰(2)의 움직임에 추종하여 절출 화상(62)을 움직이는 것이 가능해진다.
다만, 흔들림 보정 모드가 A2(미동 허용)로 전환된 후, 다시 피사체를 추종하기 위해 스마트폰(2)을 움직여, 3) 팬·틸트(움직임 플래그 3)로 판정된 경우는, 흔들림 보정 모드는 A2(미동 허용)에서 B(팬·틸트 허용)로 자동적으로 전환된다. 또, 흔들림 보정 모드 A2(미동 허용)로 전환된 후, 다시 스마트폰(2)을 움직여, 절출 화상(62)의 중심위치가 입력화상(50)의 소정 거리 내에 소정 시간(예컨대 1초간) 머무른 경우는, 흔들림 보정 모드를 A2(미동 허용)에서 A(고정)로 자동적으로 전환되도록 하면 적합하다.
또, 표시부(300)에 표시되어 있는 절출 화상(62)이, 입력화상(50)의 어느 영역을 절출한 화상인지를 사용자에게 알리기 위한 표시창을, 출력화상(60) 내, 예컨대 절출 화상(62)의 단부 부근에 표시하도록 하면 적합하다. 표시창에는, 예컨대, 입력화상(50) 및 절출 화상(62)의 윤곽과, 각각의 중심위치를 표시하도록 하면 좋다. 또, 표시제어부(180)는, 절출 화상(62)의 시작 위치가 입력화상(50)의 단부로부터 소정 거리 내로 접근한 경우 및 입력화상(50)의 외측에 위치한 경우 등에, 스마트폰(2)의 위치를 움직이도록 사용자를 유도하는 알림을, 출력화상(60) 내에 표시하도록 해도 좋다.
［2－2－5. 절출 화상 설정처리］
다음으로, 도 7로 돌아가, 표시제어부(180)는, 절출 화상 설정처리를 행한다(S250). 도 13은, 절출 화상 설정처리의 일례를 나타내는 플로차트이다. 절출 화상 설정처리는, 처리부(100)의 절출 화상 설정부(173)가, 기억부(800)에 기억되어 있는 절출 화상 설정 프로그램(813)에 따라서 실행한다.
절출 화상 설정부(173)는, 디지털 줌 제어부(174)로부터 출력되는 디지털 줌 배율 정보로부터, 입력화상(50)의 절출 데이터 영역(52)의 사이즈를 설정한다(S301). 다만, 디지털 줌 배율이 1배인 경우는, 입력화상(50)(옵티컬 출력)이 절출 데이터 영역(52)이 되기 때문에, S301의 스텝은 생략된다.
다음으로, 출력화상(60) 내에서의 절출 화상(62)의 표시 사이즈 및 표시위치를 설정하고(S305), 설정 정보를 표시부(300)에 출력하여 절출 화상 설정처리를 종료한다. 절출 데이터 영역(52)은 예컨대 사각형 영역이고, 절출 데이터 영역(52)의 중심점은, 입력화상(50)의 중심점과 일치하도록 설정한다. 또, 절출 화상(62)의 중심점은 출력화상(60)의 중심점과 일치하도록 설정한다. 이와 같이 함으로써, 입력화상(50)(옵티컬 출력)의 중심점 부근에 위치하는 피사체는, 출력화상(60) 및 절출 화상(62)의 중심점 부근에 표시된다.
또, 절출 화상(62)의 표시 사이즈는, 예컨대, 출력화상(60)의 50∼80%의 사이즈로 하면 좋다. 또, 사용자가 조작부(200) 또는 터치 패널(250)을 조작하여, 표시 사이즈를 변경 가능하게 해도 좋다.
또, 이하에 설명하는 보조화상 설정처리에 의해 보조화상(63)의 사이즈를 설정한 후, 출력화상(60)으로부터 보조화상(63)을 제외한 영역을 절출 화상(62)으로 해도 좋다.
［2－2－6. 보조화상 설정처리］
계속하여, 도 7로 돌아가, 표시제어부(180)는 보조화상 설정처리(S350)를 행한다.
도 14는, 보조화상 설정처리의 일례를 나타내는 플로차트이다. 보조화상 설정처리는, 처리부(100)의 보조화상 설정부(176)가, 기억부(800)에 기억되어 있는 보조화상 설정 프로그램(816)에 따라서 실행하는 처리이다.
우선, 보조화상 설정부(176)는, 기억부(800)에 기억되어 있는 화상 맵 데이터 테이블(821)로부터 물체 정보를 독해한다(S351).
다음으로, 보조화상 설정부(176)는, 독해한 물체 정보를 기초하여, 입력화상(50) 내에서 또한 절출 화상(62) 영역 밖(비절출 데이터 영역(53))에 위치하는 피사체에 대해, 그 위치와 종류(인물인지 아닌지 등) 및 색 정보에 대응한 아이콘(65)을 피사체마다 설정하고(S355), 설정 정보를 표시부(300)에 출력하여 보조화상 설정처리를 종료한다.
이상으로 도 7에 나타내는 표시제어처리를 종료한다.
［3. 변형예］
본 발명을 적용 가능한 실시예는, 상기의 실시예로 한정되지 않고, 본 발명의 취지를 일탈하지 않는 범위에서 적당히 변경 가능한 것은 물론이다. 이하, 변형예에 대해 설명하는데, 상기의 실시예와 동일한 구성에 대해서는 동일한 부호를 붙이고, 재차 설명을 생략한다.
［3－1－1. 절출 화상 중의 선택 피사체를 중심에 표시］
구기, 예컨대 축구 관전에 있어서는, 볼 부근을 확대하여 열람하는 경향이 높아, 수시 이동하는 볼을 출력화상의 중심 부근에 표시하기 위해서는, 사용자는 스마트폰(2)의 위치를 세심하게 움직이는 동작을 행할 필요가 있다. 그렇지만, 디지털 줌 배율이 높을수록, 사용자의 약간의 손 움직임을 반영하여 출력화상(60)의 표시는 크게 움직여 버리게 되기 때문에, 사용자의 동작은 곤란하게 되고 부담도 증가한다.
이러한 과제를 해결하기 위해서는, 절출 화상(62)에 있어서 사용자가 선택한 피사체를, 스마트폰(2)이, 절출 화상(62)의 중심위치에 자동적으로 표시하도록 하면 좋다. 이하, 도 15를 이용하여 구체적으로 설명한다.
도 15 (1A)의 입력화상(50) 및 도 15 (1B) 출력화상(60)의 중심 부근에 위치하는 볼(X1)이, 사용자가 열람의 중심으로 하고 싶은 피사체라고 한다.
도 15 (2A)의 입력화상(50) 및 도 15 (2B)의 출력화상(60)에 나타내는 바와 같이, 볼(X1)이, 절출 화상(62)의 좌상방향으로 이동했다고 하자. 여기서, 사용자는 스마트폰(2)을 움직이는 대신에, 조작부(200) 또는 터치 패널(250)을 조작하여(예컨대 절출 화상(62) 상의 볼(X1)을 손가락으로 탭 하여) 볼(X1)을 선택하는 조작을 행한다. 절출 화상 설정부(173)는, 사용자가 선택한 볼(X1)을 절출 화상(62)의 중심 부근에 표시하기 위해 필요한 절출 데이터 영역(52)의 이동방향 및 이동량을, 볼(X1)의 현재의 입력화상(50) 내의 좌표위치, 디지털 줌 배율로부터 산출하고, 산출치에 따라서 절출 데이터 영역(52)을 이동시킨다.
도 15 (3A)의 입력화상(50) 및 도 15 (3B)의 출력화상(60)은, 상기의 처리를 행하여 절출 데이터 영역(52)의 이동을 행한 상태를 나타내고 있다. 입력화상(50) 내에서 잘라내어지는 위치가 좌상으로 이동함으로써, 볼(X1)이 절출 화상(62)의 중심 부근에 표시되게 된 것을 알 수 있다.
［3－1－2. 보조화상 중의 선택 피사체를 중심에 표시, 조작 가이드 기능］
다음으로, 보조화상(63)에 있어서 사용자가 선택한 피사체를, 스마트폰(2)이, 절출 화상(62)의 중심위치에 자동적으로 표시하는 처리에 대해 설명한다.
도 16 (1A)의 입력화상(50) 내에 존재하는 볼(X1)이, 도 16 (1B)에 나타내는 바와 같이 절출 화상(62) 내에는 표시되지 않고, 보조화상(63) 내에 흰색 동그라미의 원형 아이콘(65)으로 표시되어 있는 것으로 한다.
이러한 경우는, 사용자는 스마트폰(2)을 움직이는 대신에, 조작부(200) 또는 터치 패널(250)을 조작하여(예컨대 보조화상(63) 상의 아이콘(65)을 손가락으로 탭 하여) 볼(X1)에 대응하는 흰색 동그라미의 아이콘(65)을 선택한다.
절출 화상 설정부(173)는, 사용자가 선택한 볼(X1)을 절출 화상(62)의 중심 부근에 표시하기 위해 필요한 절출 데이터 영역(52)의 이동방향 및 이동량을, 볼(X1)의 현재 입력화상(50) 내의 좌표 위치, 디지털 줌 배율로부터 산출하고, 산출치에 따라서 절출 데이터 영역(52)을 이동시킨다.
도 16 (2A)의 입력화상(50) 및 도 16 (2B)의 출력화상(60)은, 상기의 처리를 행하여 절출 화상(62)의 이동을 행한 상태를 나타내고 있다. 입력화상(50) 내에서 잘라내어지는 위치가 좌상으로 이동함으로써, 볼(X1)이 절출 화상(62) 내에 표시되게 된 것을 알 수 있다. 이와 같이, 사용자가 열람하고 싶은 피사체가 절출 화상(62) 내에 표시되어 있지 않은 경우는, 스마트폰(2)을 움직이지 않고, 보조화상(63) 내에 표시되어 있는 아이콘(65) 등을 선택함으로써, 선택한 피사체를 절출 화상(62) 내에 표시하는 것이 가능하다.
(절출 데이터 영역의 이동 범위의 제한)
한편, 도 16 (2B)의 출력화상(60)에 있어서, 볼(X1)이 절출 화상(62)의 중심 부근에 표시되어 있지 않는 이유는, 입력화상(50)의 데이터가 존재하지 않는 범위까지 잘라내는 것을 행하지 않게, 절출 데이터 영역(52)의 이동 범위에 제한을 마련하고 있기 때문이다. 제한을 마련하지 않는 경우는, 볼(X1)을 절출 화상(62)의 중심 부근에 표시하는 것은 가능하다. 다만, 그 경우는, 입력화상(50)의 데이터가 존재하지 않는 범위가 잘라내어지게 되어, 출력화상(60)의 미관을 해쳐 버린다.
(조작 가이드의 표시)
이러한 상태를 회피하기 위해서는, 사용자가 스마트폰(2)을 든 손을 볼(X1)이 위치하는 방향으로 적절히 작동시키면 좋다. 그 경우, 사용자에 대해, 알림부(140)가 스마트폰(2)의 위치를 움직이는 것을 촉구하는 알림을 행하도록 하면 적합하다.
도 16 (2B)의 보조화상(63)에는, 알림의 일례로서, 스마트폰(2)을 움직이는 방향을 나타내는 화살표의 조작 가이드(66)를 표시하고 있다. 다만, 알림의 방법은 출력화상(60)에의 텍스트 메시지 표시나, 소리 출력부(400)에 의한 음성에 의한 것이라도 좋다. 또 상기 방법의 조합에 의한 것이라도 좋다.
또, 도 5 (3)의 보조화상(63)의 표시 예로 나타낸 바와 같이, 보조화상(63)의 영역폭을 변경함으로써 알림을 행하도록 해도 좋다. 그 경우는, 입력화상(50)의 데이터가 소정량 존재하지 않는 방향의 보조화상(63)의 영역 폭을, 데이터가 존재하는 양에 따라 좁히거나 또는 없는 것으로 한다. 사용자는 보조화상(63)의 영역폭을 시인함으로써, 스마트폰(2)을 움직이는 방향을 알 수 있다.
도 16 (3A)의 입력화상(50) 및 도 16 (3B)의 출력화상(60)은, 사용자가 알림에 따라 적절히 스마트폰(2)을 움직인 결과, 볼(X1)이 절출 화상(62)의 중심 부근에 표시된 상태를 나타내고 있다.
또, 입력화상(50)의 데이터가 존재하지 않는 범위가 잘라내어지게 되어, 출력화상의 미관을 해쳐 버리는 상황을 회피하기 위해서는, 절출 데이터 영역(52)이 입력화상의 단부로부터 가까워진 경우, 예컨대, 절출 데이터 영역(52)의 외연이 입력화상의 단부로부터 소정 범위만큼 내측의 위치(내측의 선)에 도달한 경우에, 자동적으로 디지털 줌 배율을 높이도록 설정하도록 해도 좋다. 이와 같이 함으로써, 절출 화상(62)에 대응하는 절출 데이터 영역(52)의 사이즈는 작아지기 때문에, 입력화상(50)의 데이터가 존재하지 않는 범위까지 잘라내기를 행하는 것을 방지할 수 있다.
다만, 이상의 설명에서는, 사용자가 선택한 피사체를 절출 화상(62)의 중심에 표시한다고 하여 설명했지만, 피사체가 아니라, 절출 화상(62)에 있어서 사용자가 선택한 범위를 절출 화상(62)의 중심에 표시하도록 해도 좋다. 그 경우는, 사용자가 조작부(200) 또는 터치 패널(250)을 조작하여, 절출 화상(62) 내의 원하는 범위(예컨대 사각형의 범위)를 선택한다. 그 후는, 사용자 선택범위의 중심점을 상기의 설명에 있어서의 볼(X1)로 하여, 마찬가지의 처리를 행하면 좋다.
또, 이상의 설명에서는, 절출 화상(62) 내에서 범위의 선택을 행하고, 선택한 범위를 절출 화상(62)의 중심에 표시한다고 설명했지만, 범위의 선택을 입력화상(50) 내에서 행하도록 해도 좋다.
그 경우는, 표시부(300)에 표시되어 있는 절출 화상(62)이, 입력화상(50)의 어느 영역을 절출한 화상인지를 사용자에게 알리기 위한 표시창을, 출력화상(60) 내, 예컨대 절출 화상(62)의 단부 부근에 표시하도록 한다. 표시창에는, 예컨대, 입력화상(50) 및 현재 절출 화상(62)의 윤곽과, 각각의 중심위치를 표시하도록 한다. 사용자는 조작부(200) 또는 터치 패널(250)을 조작하여, 표시창 내에서 열람하고 싶은 범위(예컨대 사각형의 범위)를 선택한다. 표시제어부(180)는, 표시창의 선택범위에 대응하는 입력화상(50) 내 범위의 좌표 정보를 산출하고, 그 다음으로 입력화상(50) 내의 선택 범위의 중심점을 절출 데이터 영역(52)의 중심점과 일치시키기 위해 필요한 좌표 정보를 산출하여, 절출 화상 설정부(173)에 출력하도록 하면 좋다.
［3－1－3. 선택 피사체 위치의 알림］
화상 맵 생성처리에 있어서 설명한 바와 같이, 본 실시예에 있어서는, 사전에 등록된 피사체 정보는 설정정보 기억부(840)에 보존되고, 현재 및 과거의 입력 프레임에 있어서의 위치정보는 화상 맵 데이터 테이블(821)에 보존되어 있다. 이들의 정보를 이용하여, 사용자가 선택한 특정 피사체가 절출 화상(62) 또는 입력화상(50) 내에 존재하는 경우, 그 위치를 사용자에게 알리는 것이 가능하다.
예컨대, 사용자가 사전에 볼(X1)을 선택 피사체로서 선택하고, 설정정보 기억부(840)에 등록한다. 촬영을 개시한 후, 화상 맵 생성부(172)는, 볼(X1)의 위치정보가 화상 맵 데이터 테이블(821)에 기록된 경우, 화상 맵 생성부(172)는 선택 피사체 검출 플래그를 표시제어부(180)에 출력한다. 표시제어부(180)는, 선택 피사체의 검출 위치가 절출 데이터 영역(52) 내인 경우는 절출 화상 설정부(173)에, 비절출 데이터 영역(53) 내인 경우는 보조화상 설정부(176)에, 선택 피사체의 위치정보 및 알림처리 커멘드를 출력한다.
절출 화상 설정부(173)는, 선택 피사체가 절출 화상(62) 내에 존재하는 것을 사용자에게 알리기 위해, 예컨대 선택 피사체의 주위를 사각형 테두리로 둘러싸는 등의 설정 정보를, 표시부(300)에 출력한다. 도 17 (1A) 및 (1B)는, 이 알림이 행해질 때의 입력화상(50)과 출력화상(60)을 나타낸 것이다. 도 17 (1A)에 나타내는 바와 같이, 선택 피사체인 볼(X1)은 입력화상(50)의 절출 데이터 영역(52) 내에 존재하고 있다. 도 17 (1B)에 나타내는 바와 같이, 볼(X1)의 주위에는 사각형 테두리(67)가 표시되어 있다.
보조화상 설정부(176)는, 선택 피사체가 보조화상(63) 내에 존재하는 것을 사용자에게 알리기 위해, 예컨대 선택 피사체에 대응한 아이콘(65) 주위를 사각형의 테두리로 둘러싸는 등의 설정 정보를, 표시부(300)에 출력한다. 도 17 (2A) 및 (2B)는, 이 알림이 행해졌을 때의 입력화상(50)과 출력화상(60)을 나타낸 것이다. 도 17 (2A)에 나타내는 바와 같이, 선택 피사체인 볼(X1)은 입력화상(50)의 비절출 데이터 영역(53) 내에 존재하고 있다. 도 17 (2B)에 나타내는 바와 같이, 볼(X1)에 대응한 아이콘(65) 주위에는 사각형의 테두리(68)가 표시되어 있다.
또, 일단은 입력화상(50) 내에 검출됐던 선택 피사체가, 피사체의 돌발적인 큰 움직임에 의해, 입력화상(50) 밖으로 이동해 버리는 경우가 상정된다. 예컨대 축구 경기중의 볼 등, 피사체의 움직임이 돌발적으로 빨라지는 장면에서는, 현재 입력화상(50)의 데이터 영역 밖으로 선택 피사체가 움직여 버리는 경우가 상정된다. 그 경우는, 대상 피사체의 데이터가 현재의 입력화상(50) 내에 존재하지 않기 때문에, 도 15에서 설명한 바와 같은 절출 화상(62)의 이동처리에 의한 대처는 할 수 없게 된다. 이러한 경우에 스마트폰(2)이 행하는 처리에 대해, 이하, 도 17을 이용하여 설명한다.
도 17 (1A) 및 도 17 (1B)는, 입력화상(50) 및 출력화상(60)의 중심 부근에 선택 피사체인 볼(X1)이 존재하고 있는 것을 나타내고 있다.
도 17 (2A) 및 도 17 (2B)는, 입력화상(50) 내에 볼(X1)은 위치하고 있지만, 출력화상(60)의 절출 화상(62) 내에는 볼(X1)은 표시되어 있지 않고, 보조화상(63) 내에 볼(X1)을 본뜬 흰색 동그라미의 아이콘(65)이 표시되어 있는 것을 나타내고 있다.
이 단계에서는, 입력화상(50) 내에 볼(X1)은 위치하고 있기 때문에, 절출 화상(62)을 이동함으로써 X1을 절출 화상(62) 내에 표시시키는 것은 가능하다.
도 17 (3A) 및 도 17 (3B)는, 볼(X1)이 입력화상(50)에 존재하지 않고, 출력화상(60)에 표시되어 있지 않은 것을 나타내고 있다. 선택 피사체인 볼(X1)이 입력화상(50)에 존재하지 않게 된 것을 검출한 표시제어부(180)는, 기억부(800)의 화상 맵 데이터 테이블(821)에 보존되어 있는 과거 프레임의 화상 데이터로부터, 볼(X1)의 예컨대 과거 몇 초간의 움직임에 상당하는 위치 데이터를 독해한다.
다음으로, 표시제어부(180)는, 독해한 과거의 위치 데이터를 이용하여, 예컨대 볼(X1)의 과거 몇 초간의 좌표로부터 산출되는 궤적의 방향 또는 볼(X1)이 마지막으로 검출된 위치의 방향에 현재 볼(X1)이 존재한다고 판정한다. 그 다음으로, 표시제어부(180)는, 알림부(140) 및 보조화상 설정부(176)에 조작 가이드 정보로서 볼(X1)의 현재 위치 추정 방향을 출력한다. 알림부(140) 및 보조화상 설정부(176)는, 예컨대 도 17 (3B)에 나타내는 바와 같이, 상방향으로 스마트폰(2)을 움직일 것을 촉구하는 조작 가이드(66)를 보조화상(63) 내에 표시한다.
이러한 알림을 행함으로써, 사용자는, 디지털 줌 기능을 해제 또는 줌 배율을 저감하지 않고, 출력화상(60)을 열람한 상태를 유지하면서, 선택 피사체인 볼(X1)이 다시 출력화상(60)에 표시되도록, 효과적으로 스마트폰(2)을 움직일 수 있다.
［3－2. 주목위치로의 복귀처리］
사용자가 스마트폰(2)을 어느 일정한 위치를 향하여, 망원 화상을 소정 시간 이상 열람하고 있을 때는, 그 위치에 대한 주목도가 높다고 간주할 수 있어, 장래적으로도 그 위치(이하, 주목위치라고 칭함)의 열람을 행할 확률이 높다. 주목도의 설정은, 예컨대, 디지털 줌 중에 움직임 판정처리(S150)에 의해 스마트폰(2)이 움직이지 않는 (1) 고정(움직임 플래그 1))으로 판정된 상태에 있어서의 경과시간 또는 입력 프레임수를 이용할 수 있다. 즉, 어느 일정한 위치를 망원 화상으로 소정 시간(예컨대 15초간) 또는 소정의 입력 프레임수(예컨대 450프레임) 이상 열람한 경우, 그 열람 위치를 주목위치라고 판정하고, 그때의 출력화상(60)의 화상정보를 주목 화상정보(주목 씬 정보)로서 화상 데이터 기억부(820)에 보존하여 이용한다. 또는, 디지털 줌 기능이 해제되어 출력화상(60)이 줌 아웃 했을 때에, 그 직전의 출력화상(60)의 정보를 자동적으로 주목 화상정보로서 보존하도록 해도 좋다. 디지털 줌 기능의 해제는, 사용자 조작에 의한 해제라도 좋고, 상술한 움직임 판정부(171) 및 디지털 줌 제어부(174)에 의한 움직임 플래그를 이용한 판정에 의한 해제라도 좋다.
주목 화상정보의 보존이 행해진 후, 사용자가 피사체를 변경하기 위해 스마트폰(2)을 크게 움직이거나, 잠시 쉬기 위해 스마트폰(2)을 든 손을 내리거나 함으로써, 움직임 판정부(171) 및 디지털 줌 제어부(174)에 의한 움직임 플래그를 이용한 판정(4) 장면 전환(움직임 플래그 4))에 의해 자동적으로 디지털 줌 기능이 해제되어, 출력화상(60)은 줌 아웃 화면이 된다.
그 후, 스마트폰(2)의 움직임이 멈추고, 1) 고정(움직임 플래그 1) 판정이 이루어진 경우, 처리부(100)는, 그때의 절출 화상(62)에 대해, 최근의 줌 아웃 전의 디지털 줌 설정 배율을 자동적으로 적용하도록 설정한다. 즉, 4) 장면 전환(움직임 플래그 4)에서 1) 고정(움직임 플래그 1)의 움직임 판정이 이루어질 때마다, 디지털 줌 설정 배율을 1배에서 줌 아웃 전의 배율로 복귀시키도록 한다(이하, 배율 복귀기능이라고 칭한다). 최근의 줌 아웃 전의 디지털 줌 배율은, 화상 맵 데이터 테이블(821)로부터 독해하도록 하면 좋다. 다만, 배율 복귀는, 1) 고정(움직임 플래그 1)의 움직임 판정 직후가 아니라, 소정 시간 또는 소정 프레임수 그 상태가 유지된 후에 행하도록 해도 좋다. 또, 최근의 줌 아웃 전의 배율로 복귀하는 것이 아니라, 미리 설정한 소정의 배율(예컨대 2배)로 변경하도록 해도 좋다.
주목위치에서의 열람 및 주목 화상정보의 보존 후, 사용자가 피사체 변경을 위해 스마트폰(2)을 움직인 후에, 다시 원래의 주목위치로 스마트폰(2)을 움직이는 장면에 있어서, 배율 복귀 기능을 사용한 경우의 흐름을 구체적으로 설명한다. 우선, 어느 위치를 디지털 줌 2배로 소정 시간 열람함으로써 주목 화상정보가 보존된다. 다음으로, 피사체 변경을 위해 사용자가 스마트폰(2)을 크게 움직임으로써 4) 장면 전환(움직임 플래그 4)으로 판정되면, 절출 화상(62)은 자동적으로 줌 아웃(배율 1배) 화상이 된다. 계속하여, 사용자가 스마트폰(2)의 움직임을 멈추어 1) 고정(움직임 플래그 1)으로 판정되었을 때, 즉 사용자가 다른 피사체의 열람을 개시했을 때, 처리부(100)는, 그때의 절출 화상(62)에 대해 전회(前回)의 디지털 줌 배율(이 경우는 2배)을 자동적으로 적용한다.
그 후, 사용자가 다시 원래의 주목위치를 열람하기 위해 스마트폰(2)을 크게 움직임으로써 4) 장면 전환(움직임 플래그 4)으로 판정되면, 절출 화상(62)은 자동적으로 줌 아웃(배율 1배) 화상이 된다. 사용자가 주목위치 부근에서 스마트폰(2)의 움직임을 멈추어, 1) 고정(움직임 플래그 1)으로 판정되면, 처리부(100)는, 그때의 절출 화상(62)에 대해 전회의 디지털 줌 배율(이 경우는 2배)을 자동적으로 적용한다. 이로써, 절출 화상(62)은, 줌 아웃 화면으로부터, 전회의 디지털 줌 배율이 적용된 화면(망원 화상)으로 전환된다.
계속하여, 처리부(100)는, 현재의 배율 복귀처리 후의 절출 화상(62)과, 화상 데이터 기억부(820)에 보존되어 있는 주목위치 화상의 절출 화상(62)과의 차분치를 화소마다 산출한다. 차분치가 소정치 이하의 화소가 소정량 이상 존재한 경우, 처리부(100)는 주목위치로의 복귀로 판정하고, 주목위치 복귀처리를 실행한다. 구체적으로는, 처리부(100)는, 주목위치의 절출 화상(62)에 현재 절출 화상(62)이 중첩하도록, 절출 데이터 영역(52)의 이동에 의한 위치 맞춤을 행한다. 이와 같이 함으로써, 용이하게 주목위치로의 복귀를 행할 수 있다.
다만, 이상의 설명에서는, 처리부(100)가 자동적으로 위치 맞춤을 행한다고 했지만, 예컨대, 주목위치의 절출 화상(62)을 엣지 검출하여 생성한 윤곽 화상을 현재의 절출 화상(62)에 소정의 불투명도(예컨대 50%)로 중첩 표시함으로써, 사용자에게 스마트폰(2)의 이동을 촉구하는 알림을 행해도 좋다. 이 경우는, 우선 사용자가 알림에 따라 거의 정확한 위치에 위치 맞춤을 행하고, 그 후에 처리부(100)에 의한 위치 맞춤을 행하도록 해도 좋다.
(입력화상정보를 이용한 복귀처리)
또, 배율 복귀 기능을 사용하지 않고, 입력화상정보를 이용하여 이하와 같이 복귀처리를 행하는 것도 가능하다. 입력화상(50)을 사용하는 경우는, 주목위치정보로서 주목위치의 입력화상정보를 보존해 두도록 하면 좋다.
주목 화상정보로서 입력화상 정보 및 디지털 줌 배율 정보의 보존이 행해진 후, 사용자가 피사체를 변경하기 위해 스마트폰(2)을 크게 움직이거나, 잠시 쉬기 위해 스마트폰(2)을 든 손을 내리거나 함으로써, 움직임 판정부(171) 및 디지털 줌 제어부(174)에 의한 움직임 플래그를 이용한 판정 (4) 장면 전환(움직임 플래그 4))에 의해 자동적으로 디지털 줌 기능이 해제되어, 출력화상(60)이 줌 아웃 화면으로 된다.
그 후, 다시 주목위치를 열람하기 위해 사용자가 스마트폰(2)을 줌 아웃 전의 위치 부근으로 움직인 후에 움직임을 멈추어, 1) 고정(움직임 플래그 1) 판정이 이루어진 경우, 처리부(100)는 현재의 입력화상(50)과, 화상 데이터 기억부(820)에 보존되어 있는 주목위치의 입력화상(50)의 차분치를 화소마다 산출하고, 차분치가 소정치 이하인 화소가 소정량 이상 존재하는 경우, 처리부(100)는 주목위치로의 복귀로 판정하여, 주목위치 복귀처리를 실행한다. 구체적으로는, 처리부(100)는, 주목위치의 출력 프레임 화상에 현재의 출력 프레임이 중첩하도록, 절출 데이터 영역(52)의 이동에 의한 위치 맞춤 및 디지털 줌 배율의 설정을 행한다. 이와 같이 함으로써, 용이하게 주목위치에의 복귀를 행할 수 있다.
다만, 이상의 설명에서는, 처리부(100)가 자동적으로 위치 맞춤과 디지털 줌 배율의 설정을 행한다고 했지만, 주목위치의 출력 프레임 화상을 엣지 검출하여 생성한 윤곽 화상을 현재의 출력 프레임 화상에 소정의 불투명도(예컨대 50%)로 중첩 표시함으로써, 사용자에게 스마트폰(2)의 이동을 촉진하는 알림을 행해도 좋다. 이 경우는, 우선 사용자가 알림에 따라 디지털 줌 배율의 변경과 거의 정확한 위치에의 위치 맞춤을 행하고, 그 후에 처리부(100)에 의한 위치 맞춤을 행하도록 하면 좋다.
또, 화소의 차분치의 산출에 더하여 동체(動體) 검출을 행하고, 동체로 판정된 영역을 차분치의 산출로부터 제외하도록 해도 좋다. 이와 같이 함으로써, 인물이나 차량 등의 동체에 의한 화소의 이동이 차분치 산출로부터 제외되기 때문에, 차분치 산출의 정밀도를 높일 수 있다.
또, 화소의 차분치를 대신하여, 주목위치의 입력화상(50) 중의 특징점을 추출하고, 현재 입력화상(50)의 특징점과 매칭을 행함으로써, 주목위치로의 복귀를 행하는 것으로 해도 좋다. 예컨대 축구 경기의 경우는, 골포스트나 경기장 펜스 등의 고정되어 있는 피사체의 특징점을 이용하여 매칭을 행하면 적합하다. 그러기 위해서는, 예컨대, 각 특징점에 대해 움직임 벡터를 산출하고, 움직임 벡터가 작은 특징점을 중시한 매칭을 행하도록 하면 좋다. 즉, 추출된 복수의 특징점 중, 움직임 벡터가 소정치 이하인 특징점만을 사용하거나, 또는, 움직임 벡터가 소정치 이하인 특징점의 무게를 그 이외의 특징점의 부게보다 무겁게 하여 매칭에 이용하는 것으로 하면 좋다.
또, 화상 데이터 기억부(820)에 복수의 주목위치 화상의 정보가 보존되어 있는 경우에는, 시계열적으로 최근의 주목위치 화상정보로부터, 상기 판정을 행하도록 하면 좋다. 또, 사용자가 주목위치정보에 라벨을 붙여 보존하도록 설정하고, 주목위치로 복귀를 행하고 싶은 경우에, 사용자가 특정 라벨을 선택함으로써, 원하는 주목위치정보를 독해하고, 상기의 처리를 행하도록 해도 좋다.
［3－3. 의도하지 않은 물체의 제거처리］
망원 화상을 열람 중에, 의도하지 않은 물체가 출력화상(60)에 표시되어 버리는 경우가 있다. 그 표시가 극히 단시간이라도, 확대 배율이 클수록, 의도하지 않은 물체는 출력화상(60)에 있어서 큰 비율을 차지하여 표시되어 버리기 때문에, 사용자에게 주는 불쾌감은 커진다. 이러한 표시를 회피하기 위한 처리에 대해, 이하에 설명한다.
의도하지 않은 물체를 포함하는 출력 프레임이 발생했는지 아닌지의 판단에 대해서는, 각 출력 프레임에 대해 엣지 맵을 생성하고, 그 직전 및 직후 프레임의 엣지 맵과, 위치 맞춤한 후에 비교한다. 엣지 맵의 생성은, 예컨대, 화상 맵 생성부(172)에서 행한다.
우선, 상기 프레임과 직전 프레임, 및 상기 프레임과 직후 프레임과의 사이에서, 차분치가 소정치를 초과하는 화소가 소정 수 있는지 어떤지를 판정(판정 1)한다. 이 판정 1에 의해, 프레임 사이에 변화가 있던 것이 검출된다.
판정 1에 의해, 프레임 사이에 변화가 있다고 판정된 경우는, 계속하여, 판정 1에 의해 변화가 검출된 영역의 화소에 있어서, 상기 프레임 전후의 프레임 사이, 즉 상기 프레임의 직전 프레임과 직후 프레임 사이의 차분치를 산출한다. 상기 차분치가 소정치(제1 판정에 이용한 소정치와는 다름)를 초과하지 않는 화소가 소정 수 있는지 어떤지를 판정한다(판정 2). 즉, 판정 2는, 판정 1에서 검출된 영역에 있어서, 상기 프레임의 전후 프레임 사이에 의도하지 않은 물체가 존재하는지 아닌지를 판정하고 있다. 판정 2에서 상기 화소수가 소정 수 있는 경우는, 의도하지 않은 물체는, 상기 프레임의 상기 영역에만 존재한다고 판정되어, 직전 프레임 또는 직후 프레임에 있어서 상기 영역에 대응하는 위치의 화소와 교체하는 것이 가능해진다.
엣지 맵은, 휘도 및 채도 양쪽에 기초하여 생성한 것이라도 좋고, 휘도에만 기초하여 생성한 것이라도 좋다. 특히 후자이면, 채도에 대해서는 무시하게 되지만, 사람의 눈은 채도의 변화에는 둔감하기 때문에, 비록 의도하지 않은 물체가 발생해도 눈치채지 못한 경우가 많다. 또 의도하지 않은 물체의 발생을 과도하게 인식함으로써, 과잉의 처리가 이루어지는 것을 회피할 수 있다.
도 18은, 스포츠 씬에 있어서의, 입력화상(50)과 출력화상(60)의 일례를 나타내는 설명도이다. 도 18 (1A)∼(4A)는, 입력화상(50)을 나타내고 있고, 도 18 (1B)∼(4B)는, 출력화상(60)(절출 화상(62)과 보조화상(63))을 나타내고 있다. 화상 맵 데이터 테이블(821)에는, 사전에 설정한 물체의 좌표 위치가, 프레임 번호에 대응지어 기억되어 있다.
도 18 (2A)에 나타내는 입력화상(50)은, 도 18의 (1A)에 이어 입력되어 있다.
여기서, 도 18 (2A)에서 나타내는 바와 같이, 입력화상(50)에는, 사전에 설정한 물체 정보에 포함되어 있지 않은 물체(Q)가 표시되어 있다. 화상 맵 생성부(172)에서는, 입력화상 데이터로부터 엣지 맵을 생성할 때, 사전에 설정한 물체 정보에 포함되어 있지 않은 물체를 검출했을 때는, 프레임 번호에 대응지어, 그 물체의 좌표 위치를 기억부(800)에 기억시킨다.
도 18 (3A)는, 도 18 (2A)에 이어 입력된 입력화상(50)을 나타내고 있다. 도 18 (2A)와는 달리, 도 18 (3A)에서는, 물체(Q)가 입력화상(50)의 대략 중앙에 위치하고 있다. 이때 절출 화상(62)에서는, 도 18의 (3B)에 나타내는 바와 같이 물체(Q)가 확대되어 표시되게 된다.
도 18 (4A)는, 도 18 (3A)에 계속하여 입력된 입력화상(50)을 나타내고 있다. 도 18 (3A)와는 달리, 도 18 (4A)에서는, 물체(Q)가 입력화상(50)의 좌하에 위치하고 있다.
도 18 (3A)의 물체(Q)의 좌표 위치에 대응하는 도 18 (2A)의 위치에 물체 정보가 없으면, 그 위치의 화소를 부분적으로 복사하여, 도 18 (3A)의 물체(Q)의 좌표 위치의 화소로 치환한다. 이와 같이 함으로써, 절출 화상(62)에 있어서, 물체(Q)가 표시되는 것을 회피할 수 있다.
화상 맵 생성부(172)는, 3 프레임(상기 프레임과 그 전후의 프레임)의 화상 기억 데이터만이 아니라, 예컨대 더욱 많은 프레임의 화상 데이터를 이용하여 상기의 판단을 해도 좋다.
또, 의도하지 않은 물체로서는 여러 가지 상정되지만, 공중을 나는 벌레 등의 경우는, 그림자를 생성하기 때문에 흑색이 되는 경향이 높다고 생각되므로, 상기의 판단처리에 더하여, 그 프레임에 있어서의 대상이 되는 물체의 색이 흑색을 많이 포함하고 있는 경우에, 픽셀 정보 교체를 하는 것으로 해도 좋다.
이상, 의도하지 않은 물체를 포함하는 출력 프레임이 발생한 경우, 상기 영역의 화소를, 그 직전 또는 직후 프레임의 대응하는 영역의 화소로 교체, 출력화상으로서 스마트폰(2)의 표시부에 출력하는 처리에 대해 설명했지만, 의도하지 않은 물체를 포함하는 출력 프레임으로부터 소정 범위 내의 프레임, 예컨대 직전 또는 그 직후의 프레임 전체를 카피하고, 프레임 전체를 치환하도록 해도 좋다.
한편, 이상 설명한 실시예 및 변형예에서는, 스마트폰(2)의 촬상부(500)는, 접합장치(520)를 사이에 두고 광학 줌부(550)에 접속되어 있는 예를 이용했지만, 본 발명의 효과는 광학 줌부(550)를 접속하지 않는 경우에 있어서도 충분히 유효한 것은, 당업자에게는 명백하다.
［3－4. 카메라 렌즈와 망원렌즈의 위치 맞춤］
스마트폰(2)의 카메라(촬상부(500))와 망원렌즈를 장착함에 있어서는, 망원렌즈 및 스마트폰(2)에는 각각 여러 가지 형상이 있기 때문에, 그 장착을 똑같은 형태로 실현되는 것은 어렵고, 장착시에 망원렌즈 위치와 스마트폰(2)의 카메라 위치를 사용자가 미조정을 할 필요가 있다. 그리고, 사용자가 미조정을 한 후, 장치를 기동해도 문제없다고 판단하고, 실제로 장치를 기동하여 사용하더라도, 비네팅(vignetting)이 발생하거나, 화상에 왜곡이 발생할 가능성이 있다.
종래, 망원렌즈의 장착에 있어서는, 스마트폰(2)의 전원 또는 카메라 기능을 OFF로 해서 행하는 것이 통상이지만, 본 실시예에서는, 스마트폰(2)의 전원 및 카메라(촬상부(500)) 기능을 ON으로 한 상태에서 장착을 행한다.
도 19는 스마트폰(2)의 카메라 렌즈와 망원렌즈와의 위치 맞춤의 일례를 나타내는 도이다. 처리부(100)는, 표시부(300)의 출력화상(60) 중에 스마트폰(2)의 카메라의 렌즈의 중심위치(C1)(0, 0)를 나타내는 마크(예컨대 +부호) 및, 스마트폰(2)의 카메라에 의해 촬영되고 있는 망원렌즈와 접안부(예컨대, 아이피스 부분)를 표시시킨다. 또, 도 19에 나타내는 영역(A 및 B)은, 망원렌즈 영역(A) 및 접안부 영역(B)을 나타내고 있다.
처리부(100)는, 예컨대 이하에 설명하는 방법으로 렌즈 영역(A)와 접안부 영역(B)의 경계인 원형부(D)의 중심위치(망원렌즈의 중심위치)(C2)(X, Y)를 산출하고, 스마트폰(2) 표시부(300)에 표시시킨다. 이때, C2를 나타내는 마크는 C1을 나타내는 마크와 색 또는 형상을 달리 한 마크로 하면 적합하다. 사용자는, 스마트폰(2)의 카메라의 렌즈의 중심위치(C1)와 원형부(D)의 중심위치(C2)의 위치를 시인함으로써, 장착의 오차를 인식할 수 있어, 장착 위치를 미조정함으로써, 적절한 위치에 망원렌즈를 장착하는 것이 가능해진다.
망원렌즈의 중심위치(C2)(X, Y)의 산출은, 우선, 원형부(D)를 엣지 검출한 후에 하프 변환을 행함으로써 얻어진 원의 원주상의 2점을, 처리부(100)가 랜덤하게 추출한다. 다음으로, 추출한 2점 각각을 기준으로 한 2개의 법선 벡터의 교점의 좌표를 산출한다. 이것을 여러 차례 반복함으로써 얻어진 복수의 교점 좌표의 중심위치를, 망원렌즈의 중심위치(C2)(X, Y)로서 산출한다. 다만, 하프 변환은, 원형부(D)의 원주상의 2점, 예컨대 도 19 (1A)의 P1, P2를 사용자가 탭 등으로 지정하고, P1, P2를 기준으로 한 법선 벡터(H1, H2)의 교점을, 망원렌즈의 중심위치(C2)(X, Y)로 해도 좋다. 이와 같이 함으로써, 데이터 처리의 부하를 저감할 수 있다. 또, 처리부(100)가 랜덤하게 추출하는 것이 아니라 사용자가 적절한 위치를 지정함으로써, 처리 에러를 회피할 수 있다.
처리부(100)는, 산출한 망원렌즈의 중심위치(C2)(X, Y)와 스마트폰(2) 카메라의 렌즈의 중심위치(C1)(0, 0)의 오차를 계산하여, 사용자가 위치 맞춤을 행하는 가이드로서, 예컨대 도 19 (2A)에 나타내는 바와 같이, 망원렌즈의 중심위치(C2)가 스마트폰(2) 카메라의 렌즈의 중심위치(C1)로 향하는 방향으로 화살표(E)를 표시시킨다. 한편, 처리부(100)는, 산출한 망원렌즈의 중심위치(C2)(X, Y)가 출력화상(60)의 외측이 된 경우도, 화살표(E)를 출력화상(60) 내에 표시시켜, 사용자의 위치 맞춤 조작을 유도하도록 해도 좋다.
도 20은 스마트폰(2)의 카메라 렌즈와 망원렌즈와의 위치 맞춤의 일례를 나타내는 도면과 그래프이다.
도 20 (1A)∼(4A)에 나타내는 바와 같이, 표시부(300)에는, 망원렌즈의 렌즈 영역(A)과 망원렌즈의 접안부 영역(B)과 렌즈 영역(A)과 접안부 영역(B)의 경계인 원형부(D)와 스마트폰(2)의 카메라의 렌즈의 중심위치(C1)가 표시되어 있다. 다만, 원형부(D)는 하프 변환 후의 원형으로 해도 좋다.
도 20 (1B)∼(4B)는, 가로축을 원형부(D)의 중심각(0∼360도)으로 하고, 세로축을 스마트폰(2) 카메라의 렌즈의 중심위치(C1)로부터 원형부(D)의 원주까지의 거리(R)로 한 그래프이다. 도 20 (1B)의 그래프에서는, 0∼360도의 각도에 있어서 거리(R)는 일정한 값으로 되어 있다. 이는, 망원렌즈의 중심위치(C2)와 스마트폰(2) 카메라의 렌즈의 중심위치(C1)가 일치하고 있는 것을 나타내고 있다. 이 경우는, 스마트폰(2)의 표시부에 「렌즈 위치 OK」 등의 표시를 행하는 것이 바람직하다.
도 20 (2A)에 있어서는, 원형부(D)의 중심이 중심위치(C1)에 대해 우측으로 어긋나 표시되어 있다. 도 20 (2B)의 그래프는, 180도를 최저치로 하는 쌍곡선에 가까운 형상으로 되어 있다. 이는, 망원렌즈의 중심위치(C2)와 스마트폰(2) 카메라의 렌즈의 중심위치(C1)가 어긋나 있는 것을 나타내고 있고, 구체적으로는, 망원렌즈가 우측방향으로 오프셋하여 장착되어 있는 것을 나타내고 있다. 이 경우는, 스마트폰(2)의 표시부에 「망원렌즈가 우측으로 어긋나 장착되어 있기 때문에, 조절해 주세요」 등의 표시를 행하는 것이 바람직하다.
도 20 (3A)에 있어서는, 원형부(D)가 세로로 긴 타원으로서 표시되어 있다. 도 20 (3B)의 그래프는, 100도 부근 및 250도 부근에 산 부분을 가지고, 180도에 골짜기부분을 가지는 곡선으로 되어 있다. 이는, 망원렌즈의 중심위치(C2)와 스마트폰(2) 카메라의 렌즈의 중심위치(C1)는 일치하고 있지만, 망원렌즈가 요 방향으로 기울어져 있는 것을 나타내고 있다. 이 경우는, 스마트폰(2)의 표시부에 「망원렌즈가 요 방향으로 기울어져 장착되어 있기 때문에, 조절해 주세요」 등의 표시를 행하는 것이 바람직하다.
도 20 (4A)에 있어서는, 원형부(D)가 가로로 긴 타원으로서 표시되어 있다. 도 20 (4B)의 그래프는, 90도 부근 및 270도 부근에 골짜기부분을 가지고, 200도 부근에 산 부분을 가지는 곡선으로 되어 있다. 또, 90도 부근의 골짜기는, 270도 부근의 골짜기보다 구배가 커지고 있다. 이는, 망원렌즈의 중심위치(C2)와 스마트폰(2) 카메라의 렌즈의 중심위치(C1)는 일치하고 있지만, 망원렌즈가 피치방향으로 기울어져 있는 것을 나타내고 있다. 이 경우는, 스마트폰(2)의 표시부에 「망원렌즈가 피치방향으로 기울어져 장착되어 있기 때문에, 조절해 주세요」 등의 표시를 행하는 것이 바람직하다.
이상, 스마트폰(2)의 카메라 렌즈에 망원렌즈를 장착할 때의 조정에 대해 설명했지만, 도 20에서 나타낸 데이터를 이용하여, 입력화상(50)(광학 출력화상)의 왜곡 보정을 행하는 것도 가능하다. 스마트폰(2)의 카메라에 망원렌즈를 어긋나지 않게 장착한 경우, 입력화상(50)은 왜곡이 없는 상태가 된다. 즉 도 20 (1A) 및 (1B)에 나타내는 바와 같이, 스마트폰(2) 카메라의 렌즈의 중심위치(C1)와 망원렌즈의 중심위치(C2)가 일치하고, 중심위치(C1)로부터 원형부(D)의 원주까지의 거리(R)는 일정치가 되며, 거리(R)를 반경으로 하여 그리는 원은 진원(眞圓)이다. 다만, 도 20 (4A) 및 (4B)에 나타내는 바와 같이, 스마트폰(2) 카메라에 망원렌즈가 어긋난 상태로 장착되어 있는 경우, 입력화상(50)에도 왜곡이 생겨 거리(R)를 반경으로 하여 그리는 원은 세로 방향이 짧은 타원이 된다. 이러한 입력화상의 왜곡을 보정하기 위해서는, 이상(理想) 상태인 진원 상과 일그러진 상태인 타원 상에 있어서, 예컨대 상하좌우 방향 및 중심의 5점에 있어서의 대응 관계를 결정하는 변환 행렬을 산출하고, 그 변환 행렬에 기초한 보정처리를 처리부(100)가 행하도록 하면 좋다.
［3－5. 촬상 회피처리］
단말(화상처리장치(1), 스마트폰(2)) 외부에 부착된 망원렌즈(광학 줌부(24, 550))에 의해 옥외를 촬상하는 경우 등에는, 망원렌즈가 태양방향을 향해 버림으로써, 확대 표시 중의 절출 화상(62)을 보고 있는 사용자에게 시각적인 데미지가 생겨버릴 우려가 있다. 이러한 리스크를 회피할 수 있도록, 표시제어부(표시제어부(20, 180))에서는, 태양이 절출 화상(62)에 포함되지 않게 하는 촬상 회피처리를 행하고 있다.
단말(화상처리장치(1) 또는 스마트폰(2))이 구비하는 GPS 유닛은, 측위용 위성의 일종인 GPS 위성으로부터 발신되어 있는 측위용 위성신호의 일종인 GPS 위성신호를 포함하는 RF신호를 수신한다. 그리고, GPS 유닛은, 수신한 RF신호로부터 GPS 위성신호를 포착하고, 포착한 GPS 위성신호에 기초하여 공지의 GPS 연산을 행하여, 자기(自) 단말 3차원의 위치정보 및 시각 오차 정보를 산출한다.
단말이 구비하는 자이로 센서(움직임 센서(25), 760)는, 자기 단말에 대응지어진 로컬 좌표계에 있어서의 3차원의 각속도(3축의 축회전의 각속도)를 검출한다.
도 21은, 스마트폰(2)의 표시제어부(180)가 실행하는 예외처리의 흐름의 일례를 나타내는 플로차트이다.
맨 먼저, 표시제어부(180)는, GPS 유닛으로부터 자기 단말의 위치정보 및 시각 오차 정보를 포함하는 GPS 정보를 취득한다(A1). 그리고, 처리부는, 시각 보정처리를 실행한다(A3). 구체적으로는, A1에서 취득한 GPS 정보에 포함되는 시각 오차 정보에 기초하여, 자기 단말의 시계부의 계시 시각을 보정한다.
다음으로, 표시제어부(180)는, 태양위치 추정처리를 실행한다(A5). 구체적으로는, A3의 시각 보정처리에서 보정된 시계부의 계시 시각에 기초하여, A1에서 취득한 자기 단말의 위치를 기준으로 하는 상대적인 태양의 위치를 추정한다. 이 처리는, 자기 단말의 위치와 태양의 위치와의 상대적인 위치 관계를 추정하는 처리(상대 위치관계 추정처리)라고도 할 수 있다.
그 후, 표시제어부(180)는, 움직임 센서(760)로부터 자기 단말의 각속도 정보를 취득한다(A7). 그리고, 표시제어부(180)는, 자세 산출처리를 실행한다(A9). 구체적으로는, A7에서 취득한 각속도 정보에 포함되는 3차원의 각속도를 적분처리(적분 및 적산)함으로써, 자기 단말의 자세각(자세)을 산출한다. 그리고, 표시제어부(180)는, 산출한 자세각에 기초하여, 자기 단말이 현재 향해져 있는 방향을 촬영방향(시선방향)으로서 특정한다(A11).
그 후, 표시제어부(180)는, A5에서 추정한 태양의 위치에 기초하여, A11에서 산출한 촬영방향에 태양이 포함되어 있는지 아닌지를 판정한다(A13). 포함된다고 판정했다면(A13；Yes), 표시제어부(180)는, 경고처리를 실행한다(A15). 구체적으로는, 예컨대, 휴대단말이 태양으로 향해져 있는 것을 사용자에게 주의 환기하는 메시지나, 태양으로부터 빗나가게 하는 휴대단말의 방향을 변화시키도록 촉구하는 메시지를 표시부(300)에 표시시키거나, 경고음을 소리 출력부(400)로부터 소리 출력시키는 등 하여, 사용자에 대한 경고를 행한다.
A15 후, 또는, A13에 있어서 촬영방향에 태양이 포함되지 않는다고 판정한 경우(A13；No), 표시제어부(180)는, 처리를 종료하는지 아닌지를 판정한다(A17). 처리를 계속한다고 판정했다면(A17；No), 표시제어부(180)는, A1으로 처리를 되돌린다. 한편, 처리를 종료한다고 판정했다면(A17；Yes), 표시제어부(180)는, 촬상 회피처리를 종료한다.
다만, GPS 유닛이 산출하는 위치는, 3차원의 위치정보로 해도 좋고, 위도·경도로 이루어지는 2차원의 위치정보로 해도 좋다.
또, 자세 산출처리에 있어서, 가속도 센서나 자기센서를 이용하여 자기 단말의 자세를 산출해도 좋다. 예컨대, 3축의 가속도 센서 및 3축의 자기센서를 병용하여 자기 단말의 기울기 및 방위를 산출함으로써, 자기 단말의 자세를 산출해도 좋다. 가속도 센서나 자이로 센서, 자기센서 등의 센서는, 관성 계측 유닛(IMU：Inertial Measurement Unit)으로서 1개의 센서 유닛으로서 패키지화하여 휴대단말에 탑재하는 것이 가능하다.
또, GPS 등의 위성측위 시스템을 이용하여 단말의 위치를 산출하는 것이 아니라, 관성 계측 유닛(IMU) 등을 구비하여 구성되는 관성항법 시스템(INS：Inertial Navigation System)을 이용하여 단말의 위치를 산출하도록 해도 좋다. 또, 위성측위 시스템과 관성항법 시스템 중 적어도 어느 하나를 이용하여 단말의 위치를 산출하도록 해도 좋다. 구체적으로는, 예컨대, 위성측위 시스템을 이용하여 산출한 위치와 관성항법 시스템을 이용하여 산출한 위치를 평균(예컨대 산술평균이나 가중평균)하는 평균처리를 행하여, 단말의 위치를 산출하도록 해도 좋다.
이와 같이, 망원렌즈가 태양방향을 향하는 것을 억제하기 위한 경고를 행하도록 한 경우라도, 사용자가 잘못하여 망원렌즈를 태양방향을 향하게 해 버릴 가능성이 존재한다. 이때의 위험성을 저하시킬 수 있도록, 절출 화상(62)(절출 데이터 영역(52))에 태양이 비치지 않지만, 보조화상(63)(비절출 데이터 영역(53))에는 포함되어 있는 단계에서, 태양의 화상의 휘도를 저하시키는 처리를 실행하도록 해도 좋다. 구체적으로는, 표시제어부(180)가, 보조화상(63)(비절출 데이터 영역(53))에 임계치 이상(또는 임계치 초과)의 휘도의 화소가 존재하는 경우에, 그 휘도치를 저하시키는 처리를 자동적으로 행하는 등 하여, 고휘도의 오브젝트에 대응하는 화상영역의 휘도를 저하시키는 처리를 행하도록 해도 좋다. 즉, 보조화상(63)(비절출 데이터 영역(53))에 휘도 필터를 적용함으로써, 태양과 같이 높은 휘도의 오브젝트가 그대로 절출 화상(62)에 표시되어 버리는 것을 방지한다. 다만, 이 휘도치를 저하시키는 처리는, 비절출 데이터 영역(53)을 대상으로 하여 행하는데 한정하지 않고, 절출 데이터 영역(52)을 대상으로 하여 행하도록 해도 좋다.
또, 자이로 센서 등의 출력에 기초하여 자기(自) 장치의 자세를 산출 가능하기 때문에, 촬상된 입력화상(50) 또는 절출 화상(62)의 퍼스펙티브(perspective)를, 산출된 자기 장치의 자세에 기초하여 보정하도록 해도 좋다. 예컨대, 건물의 높은 층계로부터 아래쪽의 촬상 대상을 내려다보는 각도로 촬상하여 얻어진 촬상화상(입력화상(50) 또는 절출 화상(62))과, 촬상했을 때의 자기 장치의 자세인 촬상시 자세를 관련지어 기억부(800)에 기억시키게 한다. 그리고, 촬상시 자세와, 미리 기억하고 있던 촬상부(500) 렌즈의 방향을 수평방향으로 한 경우의 자기 장치의 자세를 대응짓는 변환 행렬을 산출하고, 산출한 변환 행렬에 기초하여 촬상화상을 변환하며, 촬상 대상을 정면에서 본다고 가정한 경우의 보정 화상을 취득하도록 해도 좋다.
(물체 검출의 검출범위)
물체를 검출했을 때, 물체를 둘러싸는 예컨대 사각형의 검출범위를 표시하여, 시인도(視認度)를 향상시키도록 해도 좋다. 그 경우는 검출한 인물마다, 팀마다 검출범위에 색을 부여하게 하면 효과적이다. 또, 상기에서는 볼을 선택 피사체로 하는 예에 대해 설명했지만, 특정 선수를 선택해도 좋고, 선택 피사체를 둘러싸는 테두리와 그 외 테두리의 색을 다르도록 표시하여, 시인하기 쉽게 해도 좋다.
이상 설명한 실시예에서는, 스마트폰(2)을 손에 유지하여 사용하는 경우에 대해 설명했지만, 스마트폰(2)을 촬영보조기재에 접속하고, 사용자가 리모콘 등으로 촬영보조기재를 조작함으로써 스마트폰(2)을 평행이동 및 회전시켜, 확대화상의 열람이나 촬영을 행하는 경우에도 마찬가지로 적용할 수 있는 것은 명백하다. 즉, 스마트폰(2)의 움직임은, 손에 유지하고 있는 경우와 마찬가지로 움직임 판정부(171)에 의해 판정되고, 그 판정결과를 이용하여 디지털 줌 제어 및 흔들림 보정 등을 실행 가능한 것은 분명하다.
또, 이상 설명한 실시예에서는, 사용자로의 조작 가이드 등의 알림은, 표시부(300)에 도형이나 문자정보를 표시함으로써 행하는 것으로서 설명했지만, 알림의 형태는 이에 한정되지 않고, 음성, 빛, 진동, 및 이들의 조합에 의해 행하도록 해도 좋다.
또, 상기의 실시형태나 실시예에서 설명한 각종 화상처리나 화상표시를 컴퓨터에 실행시키기 위한 프로그램을 기록한 컴퓨터 독해 가능한 기록매체를 구성하는 것도 가능하다. 이들의 기록매체는, 각종 자기 디스크나 광디스크, 광자기 디스크, 플래쉬 메모리 등의 기록매체로 할 수 있다.
도 22는, 이 경우에 있어서의 기록매체의 일례를 나타내는 도이다.
스마트폰(2)에는, 메모리 카드(9)를 삽입하기 위한 카드 슬롯(910)이 마련되어 있고, 카드 슬롯(910)에 삽입된 메모리 카드(9)에 기억된 정보를 독해 또는 메모리 카드(9)에 정보를 기입하기 위한 카드 리더 라이터(R/W)(920)가 마련되어 있다. 카드 리더 라이터(920)는, 처리부(100)의 제어에 따라, 기억부(800)에 기록된 프로그램이나 데이터를 메모리 카드(9)에 기입하는 동작을 행한다. 메모리 카드(9)에 기록된 프로그램이나 데이터는, 스마트폰(2) 이외의 외부장치(예컨대 PC)로 독해함으로써, 상기 외부장치에 있어서 상기의 실시형태에 있어서의 화상처리나 화상표시를 실현하는 것이 가능하게 구성되어 있다.
(위성측위 시스템)
또, 상기의 실시형태에서는, 위성측위 시스템으로서 GPS를 적용하는 경우를 예로 들어 설명했지만, WAAS(Wide Area Augmentation System), QZSS(Quasi Zenith Satellite System), GLONASS(GLObal NAvigation Satellite System), GALILEO 등의 다른 위성측위 시스템을 적용하도록 해도 좋다.
1. 화상처리장치
2. 스마트폰
100. 처리부
10, 110. 입력부
11, 171. 움직임 판정부
12, 172. 화상 맵 생성부
13, 173. 절출 화상 설정부
14, 174. 디지털 줌 제어부
15, 175. 흔들림 보정부
16, 176. 보조화상 설정부
20, 180. 표시제어부
21, 800. 기억부
22, 300. 표시부
23. 카메라
24, 550. 광학 줌부
25, 760. 움직임 센서
26, 200. 조작부
50. 입력화상
52. 절출 데이터 영역
53. 비절출 데이터 영역
60. 출력화상
62. 절출 화상
63. 보조화상
65. 아이콘
66. 조작 가이드
140. 알림부
250. 터치 패널
500. 촬상부
810. 표시제어 프로그램
820. 화상 데이터 기억부

Claims (20)

  1. 화상처리장치로서,
    표시부와,
    화상을 입력하는 입력부와,
    상기 입력부에 입력되는 입력화상으로부터 특정영역을 설정하는 특정영역 설정부와,
    상기 특정영역을 상기 표시부에 표시시키는 표시제어부와,
    상기 입력화상으로부터 상기 특정영역을 제외한 영역인 비특정영역의 적어도 일부에 관한 정보인 부가정보를 설정하는 부가정보 설정부와,
    상기 부가정보를 상기 표시부에 표시시키는 부가정보 표시제어부
    를 구비하고,
    상기 특정영역 설정부는, 상기 입력화상의 갱신에 대응하여 상기 특정영역을 갱신하고,
    상기 부가정보 설정부는, 상기 입력화상의 갱신에 대응하여 상기 부가정보를 갱신하고,
    상기 부가정보는, 상기 비특정영역에 포함되는 오브젝트에 관한 정보이고,
    상기 부가정보 표시제어부는, 상기 오브젝트의 위치로부터 상기 특정영역까지의 거리에 기초하여, 그 오브젝트에 대응한 부가정보를 상기 표시부에 표시시킬지 아닐지를 결정하는 것
    을 특징으로 하는 화상처리장치.
  2. 청구항 1에 있어서,
    상기 부가정보 표시제어부는, 상기 부가정보와 상기 특정영역의 위치 관계를 대응시켜 상기 부가정보를 상기 표시부에 표시시키는 것
    을 특징으로 하는 화상처리장치.
  3. 삭제
  4. 청구항 1에 있어서,
    상기 부가정보는, 상기 오브젝트의 위치에 관계하는 정보인 것
    을 특징으로 하는 화상처리장치.
  5. 청구항 1에 있어서,
    상기 오브젝트는, 사전 설정된 특징에 합치하는 오브젝트인 것
    을 특징으로 하는 화상처리장치.
  6. 청구항 1에 있어서,
    상기 오브젝트는, 사용자에 의해 지정된 오브젝트, 또는, 사용자에 의해 지정된 특징에 합치하는 오브젝트인 것
    을 특징으로 하는 화상처리장치.
  7. 삭제
  8. 화상처리장치로서,
    표시부와,
    화상을 입력하는 입력부와,
    상기 입력부에 입력되는 입력화상으로부터 특정영역을 설정하는 특정영역 설정부와,
    상기 특정영역을 상기 표시부에 표시시키는 표시제어부와,
    상기 입력화상으로부터 상기 특정영역을 제외한 영역인 비특정영역의 적어도 일부에 관한 정보인 부가정보를 설정하는 부가정보 설정부와,
    상기 부가정보를 상기 표시부에 표시시키는 부가정보 표시제어부
    를 구비하고,
    상기 특정영역 설정부는, 상기 입력화상의 갱신에 대응하여 상기 특정영역을 갱신하고,
    상기 부가정보 설정부는, 상기 입력화상의 갱신에 대응하여 상기 부가정보를 갱신하고,
    상기 부가정보 표시제어부는, 상기 표시부에 있어서, 상기 부가정보를 상기 특정영역의 표시영역보다 외측에 표시시키는 것
    을 특징으로 하는 화상처리장치.
  9. 청구항 1 또는 청구항 8에 있어서,
    상기 부가정보는, 상기 비특정영역을 변형시킨 화상인 것
    을 특징으로 하는 화상처리장치.
  10. 화상처리장치로서,
    표시부와,
    화상을 입력하는 입력부와,
    상기 입력부에 입력되는 입력화상으로부터 특정영역을 설정하는 특정영역 설정부와,
    상기 특정영역을 상기 표시부에 표시시키는 표시제어부와,
    상기 입력화상으로부터 상기 특정영역을 제외한 영역인 비특정영역의 적어도 일부에 관한 정보인 부가정보를 설정하는 부가정보 설정부와,
    상기 부가정보를 상기 표시부에 표시시키는 부가정보 표시제어부
    를 구비하고,
    상기 특정영역 설정부는, 상기 입력화상의 갱신에 대응하여 상기 특정영역을 갱신하고,
    상기 부가정보 설정부는, 상기 입력화상의 갱신에 대응하여 상기 부가정보를 갱신하고,
    상기 부가정보는, 상기 비특정영역을 변형시킨 화상이고,
    상기 부가정보는, 상기 특정영역으로부터의 거리에 따라 상기 비특정영역을 변형시킨 화상인 것
    을 특징으로 하는 화상처리장치.
  11. 청구항 1 또는 청구항 8 또는 청구항 10에 있어서,
    상기 특정영역 설정부에 의한 상기 특정영역의 갱신의 주기는, 상기 부가정보 설정부에 의한 상기 부가정보의 갱신의 주기보다 짧은 것
    을 특징으로 하는 화상처리장치.
  12. 청구항 1 또는 청구항 8 또는 청구항 10에 있어서,
    상기 특정영역 설정부는, 사용자에 의해 선택된 오브젝트 또는 사용자에 의해 지정된 조건에 합치하는 오브젝트인 대상 오브젝트를 포함하도록 상기 특정영역을 설정하는 것
    을 특징으로 하는 화상처리장치.
  13. 청구항 1 또는 청구항 8 또는 청구항 10에 있어서,
    상기 특정영역 설정부는, 사용자 입력에 의해 상기 부가정보가 선택된 경우에는, 상기 부가정보에 대응하는 오브젝트를 포함하도록 상기 특정영역을 설정하는 것
    을 특징으로 하는 화상처리장치.
  14. 청구항 12에 있어서,
    상기 특정영역 설정부는, 상기 입력화상의 갱신에 따라, 상기 대상 오브젝트가 포함되도록 상기 특정영역을 갱신하는 것
    을 특징으로 하는 화상처리장치.
  15. 청구항 14에 있어서,
    상기 특정영역 설정부는, 상기 입력화상의 갱신에 따라, 상기 대상 오브젝트가 포함되도록 상기 특정영역의 확대 표시율을 변화시키는 것
    을 특징으로 하는 화상처리장치.
  16. 청구항 12에 있어서,
    촬상부와,
    상기 대상 오브젝트를 포함하는 상기 특정영역이 상기 입력화상의 중심에 가까워지도록, 상기 촬상부에 의한 촬영방향을 바꾸도록 사용자에게 촉구하는 알림부
    를 더 구비하는 것을 특징으로 하는 화상처리장치.
  17. 화상처리장치로서,
    표시부와,
    화상을 입력하는 입력부와,
    상기 입력부에 입력되는 입력화상으로부터 특정영역을 설정하는 특정영역 설정부와,
    상기 특정영역을 상기 표시부에 표시시키는 표시제어부와,
    상기 입력화상으로부터 상기 특정영역을 제외한 영역인 비특정영역의 적어도 일부에 관한 정보인 부가정보를 설정하는 부가정보 설정부와,
    상기 부가정보를 상기 표시부에 표시시키는 부가정보 표시제어부
    를 구비하고,
    상기 특정영역 설정부는, 상기 입력화상의 갱신에 대응하여 상기 특정영역을 갱신하고,
    상기 부가정보 설정부는, 상기 입력화상의 갱신에 대응하여 상기 부가정보를 갱신하고,
    상기 특정영역 설정부는, 사용자에 의해 선택된 오브젝트 또는 사용자에 의해 지정된 조건에 합치하는 오브젝트인 대상 오브젝트를 포함하도록 상기 특정영역을 설정하고,
    상기 대상 오브젝트가 상기 입력화상에 포함되지 않게 된 경우에, 그 취지를 상기 표시부에 표시시키는 정보 표시제어부를 더 구비하는 것
    을 특징으로 하는 화상처리장치.
  18. 청구항 1 또는 청구항 8 또는 청구항 10 또는 청구항 17에 있어서,
    상기 입력화상에 휘도가 특정 조건을 만족하는 오브젝트가 포함되는 경우에, 상기 입력화상의 휘도를 조정하는 휘도 조정부를 더 구비하는 것
    을 특징으로 하는 화상처리장치.
  19. 화상처리를 실행하기 위한 화상처리방법으로서,
    화상을 입력하는 입력 스텝과,
    상기 입력 스텝에서 입력되는 입력화상으로부터 특정영역을 설정하는 특정영역 설정 스텝과,
    상기 특정영역을 표시부에 표시시키는 표시 제어 스텝과,
    상기 입력화상으로부터 상기 특정영역을 제외한 영역인 비특정영역의 적어도 일부에 관한 정보인 부가정보를 설정하는 부가정보 설정스텝과,
    상기 부가정보를 상기 표시부에 표시시키는 부가정보 표시제어 스텝
    을 포함하고,
    상기 특정영역 설정 스텝은, 상기 입력화상의 갱신에 대응하여 상기 특정영역을 갱신하는 스텝을 포함하며,
    상기 부가정보 설정스텝은, 상기 입력화상의 갱신에 대응하여 상기 부가정보를 갱신하는 스텝을 포함하고,
    상기 부가정보는, 상기 비특정영역에 포함되는 오브젝트에 관한 정보이고,
    상기 부가정보 표시제어 스텝은, 상기 오브젝트의 위치로부터 상기 특정영역까지의 거리에 기초하여, 그 오브젝트에 대응한 부가정보를 상기 표시부에 표시시킬지 아닐지를 결정하는 것
    을 특징으로 하는 화상처리방법.
  20. 컴퓨터에 화상처리를 실행시키기 위한 프로그램으로서,
    화상을 입력하는 입력 스텝과,
    상기 입력 스텝에서 입력되는 입력화상으로부터 특정영역을 설정하는 특정영역 설정 스텝과,
    상기 특정영역을 표시부에 표시시키는 표시 제어 스텝과,
    상기 입력화상으로부터 상기 특정영역을 제외한 영역인 비특정영역의 적어도 일부에 관한 정보인 부가정보를 설정하는 부가정보 설정스텝과,
    상기 부가정보를 상기 표시부에 표시시키는 부가정보 표시제어 스텝
    을 실행시키고,
    상기 특정영역 설정 스텝은, 상기 입력화상의 갱신에 대응하여 상기 특정영역을 갱신하는 스텝을 포함하며,
    상기 부가정보 설정스텝은, 상기 입력화상의 갱신에 대응하여 상기 부가정보를 갱신하는 스텝을 포함하고,
    상기 부가정보는, 상기 비특정영역에 포함되는 오브젝트에 관한 정보이고,
    상기 부가정보 표시제어 스텝은, 상기 오브젝트의 위치로부터 상기 특정영역까지의 거리에 기초하여, 그 오브젝트에 대응한 부가정보를 상기 표시부에 표시시킬지 아닐지를 결정하는 것
    을 특징으로 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체에 기록된 프로그램.
KR1020170168299A 2016-12-08 2017-12-08 화상처리장치, 전자기기, 화상처리방법 및 프로그램 KR102019177B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016238299 2016-12-08
JPJP-P-2016-238299 2016-12-08

Publications (2)

Publication Number Publication Date
KR20180065957A KR20180065957A (ko) 2018-06-18
KR102019177B1 true KR102019177B1 (ko) 2019-09-06

Family

ID=62490406

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170168299A KR102019177B1 (ko) 2016-12-08 2017-12-08 화상처리장치, 전자기기, 화상처리방법 및 프로그램

Country Status (5)

Country Link
US (1) US10440277B2 (ko)
JP (1) JP6621798B2 (ko)
KR (1) KR102019177B1 (ko)
CN (1) CN108184048B (ko)
TW (1) TWI672628B (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017001707A1 (de) * 2017-02-22 2018-08-23 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Benachrichtigung über einen geschätzten Bewegungspfad eines Fahrzeugs
US11523120B2 (en) * 2017-04-17 2022-12-06 Saturn Licensing Llc Transmission apparatus, transmission method, reception apparatus, reception method, recording apparatus, and recording method
JP6990985B2 (ja) * 2017-04-25 2022-01-12 キヤノン株式会社 像振れ補正装置及び方法、撮像装置及び撮像システム
US10911675B2 (en) * 2017-12-28 2021-02-02 Samsung Electronics Co., Ltd. Method for providing shake correction, signal processing device performing the method, and imaging device including the signal processing device
JP7040043B2 (ja) * 2018-01-25 2022-03-23 セイコーエプソン株式会社 写真処理装置、写真データの生産方法および写真処理プログラム
KR102558472B1 (ko) * 2018-02-07 2023-07-25 삼성전자주식회사 밝기 정보에 기반하여 콘텐트의 표시를 제어하는 전자 장치 및 그의 동작 방법
CN109143568A (zh) * 2018-07-26 2019-01-04 广州慧睿思通信息科技有限公司 一种带人脸识别系统的望远镜及其观测方法
JP7154877B2 (ja) * 2018-08-22 2022-10-18 キヤノン株式会社 画像投射装置、画像投射装置の制御方法、および、プログラム
US10432864B1 (en) * 2018-09-19 2019-10-01 Gopro, Inc. Systems and methods for stabilizing videos
US10681277B1 (en) * 2019-03-07 2020-06-09 Qualcomm Incorporated Translation compensation in optical image stabilization (OIS)
JP7082587B2 (ja) * 2019-03-20 2022-06-08 株式会社日立製作所 画像処理装置、画像処理方法及び画像処理システム
JP2021019228A (ja) * 2019-07-17 2021-02-15 キヤノン株式会社 撮像装置、コンピュータプログラムおよび記録媒体
JP7401272B2 (ja) 2019-11-26 2023-12-19 キヤノン株式会社 撮像装置、撮像装置の制御方法、及びプログラム
EP4057617A4 (en) * 2019-12-03 2023-04-12 Sony Group Corporation CONTROL DEVICE, CONTROL METHOD AND INFORMATION PROCESSING SYSTEM
TWI735237B (zh) 2020-05-22 2021-08-01 茂傑國際股份有限公司 ３６０度全景影像選擇顯示之攝影機及方法
KR20220023632A (ko) * 2020-08-21 2022-03-02 삼성전자주식회사 흔들림을 보정하는 방법 및 그 전자 장치
JP7202334B2 (ja) * 2020-09-14 2023-01-11 Ｎｅｃパーソナルコンピュータ株式会社 表示制御装置及び表示制御方法並びに表示制御プログラム
JP2022069967A (ja) * 2020-10-26 2022-05-12 住友重機械工業株式会社 歪曲収差補正処理装置、歪曲収差補正方法、及びプログラム
CN113495663B (zh) * 2021-07-05 2022-03-11 北京华大九天科技股份有限公司 绘制矩形版图的方法、装置、存储介质和电子设备
CN114143594A (zh) * 2021-12-06 2022-03-04 百度在线网络技术（北京）有限公司 视频画面的处理方法、装置、设备及可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070242143A1 (en) * 2004-03-31 2007-10-18 Fujifilm Corporation Digital still camera, image reproducing apparatus, face image display apparatus and methods of controlling same

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7868912B2 (en) * 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US20100002070A1 (en) * 2004-04-30 2010-01-07 Grandeye Ltd. Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
US7801330B2 (en) * 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
JP4530067B2 (ja) * 2008-03-27 2010-08-25 ソニー株式会社 撮像装置、撮像方法及びプログラム
TWM361183U (en) * 2008-12-10 2009-07-11 Taiwan Sogo Shinkong Security Co Ltd Displacement detection system for camera
JP5387701B2 (ja) * 2011-02-25 2014-01-15 株式会社ニコン 画像処理装置
JP5373836B2 (ja) * 2011-03-01 2013-12-18 シャープ株式会社 操作指示装置及びそれを備えた画像形成装置
WO2012127618A1 (ja) 2011-03-22 2012-09-27 株式会社モルフォ 動体検出装置、動体検出方法、動体検出プログラム、動体追跡装置、動体追跡方法及び動体追跡プログラム
JPWO2013032008A1 (ja) * 2011-09-02 2015-03-23 株式会社ニコン 画像処理装置、プログラム
US9094603B2 (en) * 2011-10-07 2015-07-28 Panasonic Intellectual Property Corporation Of America Image pickup device and image pickup method
CN103535025B (zh) * 2012-03-15 2018-03-06 松下电器（美国）知识产权公司 内容数据处理装置、内容数据处理方法以及程序
WO2014068779A1 (ja) 2012-11-05 2014-05-08 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
CN103885667A (zh) * 2012-12-20 2014-06-25 环达电脑(上海)有限公司 在屏幕特定区域呈现特定数据的方法
TWI517703B (zh) * 2013-09-09 2016-01-11 Senao Networks Inc Monitor camera with adjustable horizontal angle function
US9626084B2 (en) * 2014-03-21 2017-04-18 Amazon Technologies, Inc. Object tracking in zoomed video
JP5627058B1 (ja) 2014-04-04 2014-11-19 エイチアイ リゾリューション エンタープライズ エルエルシイ 携帯端末と双眼鏡との接合用アダプター
KR101724843B1 (ko) * 2015-05-14 2017-04-10 금오공과대학교 산학협력단 선수 측위를 이용한 관심 선수 화면 제공 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070242143A1 (en) * 2004-03-31 2007-10-18 Fujifilm Corporation Digital still camera, image reproducing apparatus, face image display apparatus and methods of controlling same

Also Published As

Publication number Publication date
CN108184048B (zh) 2020-06-23
JP2018097870A (ja) 2018-06-21
CN108184048A (zh) 2018-06-19
US20180167558A1 (en) 2018-06-14
TW201821967A (zh) 2018-06-16
KR20180065957A (ko) 2018-06-18
US10440277B2 (en) 2019-10-08
TWI672628B (zh) 2019-09-21
JP6621798B2 (ja) 2019-12-18

Similar Documents

Publication Publication Date Title
KR102019177B1 (ko) 화상처리장치, 전자기기, 화상처리방법 및 프로그램
CN107026973B (zh) 图像处理装置、图像处理方法与摄影辅助器材
JP5659305B2 (ja) 画像生成装置および画像生成方法
JP5659304B2 (ja) 画像生成装置および画像生成方法
JP5769813B2 (ja) 画像生成装置および画像生成方法
US8649574B2 (en) Imaging apparatus, control method of imaging apparatus, and computer program
US8860801B2 (en) Electronic device and image pickup apparatus
US8730335B2 (en) Imaging apparatus and imaging system
JP5865388B2 (ja) 画像生成装置および画像生成方法
US9094597B2 (en) Imaging apparatus and imaging system
US8934040B2 (en) Imaging device capable of setting a focus detection region and imaging method for imaging device
JP2009267792A (ja) 撮像装置
US10275917B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
US20120307080A1 (en) Imaging apparatus and imaging system
US20170111574A1 (en) Imaging apparatus and imaging method
JP5885395B2 (ja) 撮影機器及び画像データの記録方法
JP6729572B2 (ja) 画像処理装置、画像処理方法、プログラム
US20140072274A1 (en) Computer-readable storage medium having information processing program stored therein, information processing apparatus, information processing system, and information processing method
JP2006140605A (ja) 撮影装置及びその方法
JP2011199358A (ja) 測位機能を有する撮像装置
JP6188369B2 (ja) 撮像装置
US20230018868A1 (en) Image processing device, image processing method, and program
JP2014003575A (ja) 携帯端末装置、撮影方法、及びコンピュータプログラム
JP2007267114A (ja) 手ぶれ補正装置、それを用いた撮影装置、手ぶれ補正方法、手ぶれ補正プログラム、及び手ぶれ補正プログラムの記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant