KR101451734B1 - 동화상 촬영장치, 정보처리 시스템, 정보처리장치 및 화상 데이터 처리방법 - Google Patents

동화상 촬영장치, 정보처리 시스템, 정보처리장치 및 화상 데이터 처리방법 Download PDF

Info

Publication number
KR101451734B1
KR101451734B1 KR1020137029578A KR20137029578A KR101451734B1 KR 101451734 B1 KR101451734 B1 KR 101451734B1 KR 1020137029578 A KR1020137029578 A KR 1020137029578A KR 20137029578 A KR20137029578 A KR 20137029578A KR 101451734 B1 KR101451734 B1 KR 101451734B1
Authority
KR
South Korea
Prior art keywords
image
data
unit
stream
host terminal
Prior art date
Application number
KR1020137029578A
Other languages
English (en)
Other versions
KR20130140174A (ko
Inventor
아키오 오바
히로유키 세가와
Original Assignee
소니 컴퓨터 엔터테인먼트 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 컴퓨터 엔터테인먼트 인코포레이티드 filed Critical 소니 컴퓨터 엔터테인먼트 인코포레이티드
Publication of KR20130140174A publication Critical patent/KR20130140174A/ko
Application granted granted Critical
Publication of KR101451734B1 publication Critical patent/KR101451734B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

카메라의 화상 합성부(156)는, 앞 단에 마련된 촬영한 동화상의 프레임을 복수 단계로 축소하기 위한 피라미드 필터로부터 1/4, 1/16, 1/64 디모자이크 후 화상의 가로 1렬분의 화소값을 수취한다. 그리고 소정의 규칙으로 연결해서 가상적인 합성화상을 생성하고, 스트림으로서 출력한다. 화상 송출부(151)의 제어부(164)는 호스트 단말로부터의 요구를 데이터 선택부(154)에 통지한다. 데이터 선택부(154)는 화상 합성부(156) 및 앞 단에 마련된 화상 취득부, 디모자이크부로부터 각각 입력되는 합성화상, RAW 화상, 1/1 디모자이크 후 화상의 데이터의 스트림으로부터 필요한 데이터를 선택, 추출해서 송신해야할 데이터의 스트림을 생성한다. 패킷화부(162)는 상기 스트림을 패킷화해서 호스트 단말로 송신한다.

Description

동화상 촬영장치, 정보처리 시스템, 정보처리장치 및 화상 데이터 처리방법{MOVING PICTURE CAPTURING DEVICE, INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING DEVICE, AND IMAGE DATA PROCESSING METHOD}
본 발명은 대상물의 움직임에 따라 정보처리를 실시하는 기술에 관한 것이다.
종래, 사용자의 머리부 등 신체의 일부를 비디오카메라로 촬영해서 눈, 입, 손 등 소정의 영역을 추출하고, 그 영역을 다른 화상으로 치환하여 디스플레이에 표시하는 게임이 알려져 있다(예를 들어, 특허문헌 1). 또, 비디오카메라로 촬영된 입이나 손의 움직임을 애플리케이션의 조작 지시로서 수취하는 사용자 인터페이스 시스템도 알려져 있다.
유럽 특허출원공개 제0999518호 명세서
상기와 같은 기술에서는 사용자의 입이나 손 등 소정의 영역을 추출하기 위해 고해상도의 화상이 필요하게 된다. 그러나, 비디오카메라의 촬상 소자를 고성능화할수록 고해상도화 등 데이터량이 증대하고, 전송용 압축, 신장 처리나 인식, 검출, 계측 처리 등에 필요한 정보를 적절한 스케일로 제공하는 필터링이나 스케일링, 크로핑 등의 데이터 매핑 처리 비용이 증대되어, 카메라 입력부터 각 처리 출력까지의 지연시간(latency)이 증대된다는 문제가 있다. 또, 카메라를 사용자 인터페이스로서 사용하는 경우에는 지연시간의 증대는 사용 편리성을 현저하게 저하시킨다는 문제가 있다. 이와 같이, 비디오카메라의 촬상 소자의 성능이 향상되어도 시스템 전체로서의 성능이 악화될 우려가 있다.
본 발명은 이러한 과제를 감안하여 이루어진 것으로, 그 목적은 고성능 촬상 소자를 사용하면서, 촬상부터 그 데이터를 이용한 화상 표시까지의 지연시간을 억제할 수 있는 화상처리 기술을 제공하는 것에 있다.
본 발명의 한 양태는 동화상 촬영장치에 관한 것이다. 이 동화상 촬영장치는 대상물을 촬영해서 얻어지는 동화상의 각 프레임을 다단계로 축소함으로써 다른 해상도의 복수 화상의 데이터를 각각 소정의 화소 순으로 생성하고, 스트림으로서 순차적으로 출력하는 화상 데이터 생성부와, 화상 데이터 생성부에서 출력된 복수 화상의 데이터 중 소정의 복수 화상의 데이터를 화상의 1열분의 화소열 또는 그보다 작은 범위의 화소열마다 접속해서 스트림으로서 출력함으로써, 소정의 복수 화상을 포함하는 가상적인 합성화상을 생성하는 화상 합성부와, 접속한 호스트 단말로부터 데이터의 송신 요구를 받아들이고, 화상 데이터 생성부 및 화상 합성부에서 출력된 복수의 스트림으로부터, 요구된 화상 및 영역에 포함되는 화소의 데이터를 추출해 감으로써 송신해야 할 데이터의 스트림을 생성하고, 호스트 단말에 송신하는 화상 송출부를 구비하는 것을 특징으로 한다.
본 발명의 다른 양태도 동화상 촬영장치에 관한 것이다. 이 동화상 촬영장치는, 좌우의 다른 시점에서 같은 대상물을 촬영하는 한 쌍의 카메라를 구비한 동화상 촬영장치로서, 한 쌍의 카메라는 각각, 대상물을 촬영해서 얻어지는 동화상의 각 프레임을 다단계로 축소함으로써 다른 해상도의 복수 화상의 데이터를 각각 소정의 화소 순으로 생성하고, 스트림으로서 순차적으로 출력하는 화상 데이터 생성부와, 화상 데이터 생성부에서 출력된 복수 화상의 데이터 중 소정의 복수 화상의 데이터를 화상의 1열분의 화소열 또는 그보다 작은 범위의 화소열마다 접속해서 스트림으로서 출력함으로써, 소정의 복수 화상을 포함하는 가상적인 합성화상을 생성하는 화상 합성부를 구비하고, 동화상 촬영장치는 또, 한 쌍의 카메라가 생성한 시점이 다른 화상의 데이터 중, 소정의 해상도 화상의 데이터에 대해 스테레오 매칭을 실시함으로써, 대상물의 3차원 공간에서의 위치를 나타내는 깊이 화상을 소정의 화소 순으로 생성하고, 스트림으로서 순차적으로 출력하는 스테레오 매칭 처리부와, 접속한 호스트 단말로부터 데이터의 송신 요구를 받아들이고, 화상 데이터 생성부, 화상 합성부 및 스테레오 매칭 처리부에서 출력된 복수의 스트림으로부터, 요구된 화상 및 영역에 포함되는 화소의 데이터를 추출해 감으로써 송신해야 할 데이터의 스트림을 생성하고, 호스트 단말에 송신하는 화상 송출부를 구비하는 것을 특징으로 한다.
본 발명의 또 다른 양태는 정보처리 시스템에 관한 것이다. 이 정보처리 시스템은, 대상물을 촬영해서 동화상의 데이터를 생성하는 동화상 촬영장치와, 상기 동화상 촬영장치로부터 동화상의 데이터의 일부를 취득하고, 그것을 이용해서 소정의 화상처리를 실시한 뒤 화상을 표시하는 호스트 단말을 구비한 정보처리 시스템으로서, 동화상 촬영장치는, 촬영해서 얻어진 동화상의 각 프레임을 다단계로 축소함으로써 다른 해상도의 복수 화상의 데이터를 각각 소정의 화소 순으로 생성하고, 스트림으로서 순차적으로 출력하는 화상 데이터 생성부와, 화상 데이터 생성부에서 출력된 복수 화상의 데이터 중 소정의 복수 화상의 데이터를 화상의 1열분의 화소열 또는 그보다 작은 범위의 화소열마다 접속해서 스트림으로서 출력함으로써, 소정의 복수 화상을 포함하는 가상적인 합성화상을 생성하는 화상 합성부와, 화상 데이터 생성부 및 화상 합성부에서 출력된 복수의 스트림으로부터, 호스트 단말로부터 요구된 화상 및 영역에 포함되는 화소의 데이터를 추출해 감으로써 송신해야 할 데이터의 스트림을 생성한 후, 호스트 단말에 송신하는 화상 송출부를 구비하는 것을 특징으로 한다.
본 발명의 또 다른 양태는 정보처리 장치에 관한 것이다. 이 정보처리 장치는, 대상물을 촬영하고 있는 카메라에 대해 해상도 및 화상 내의 영역을 지정해서 동화상 프레임의 화상 데이터의 송신을 요구하는 데이터 요구부와, 요구에 따라 카메라로부터 송신된, 지정한 영역의 화소값을 화소열마다 접속한 스트림 상태의 화상 데이터를 메인 메모리에서 2차원의 화상 데이터로서 전개하는 데이터 전개부와, 2차원의 화상 데이터를 이용해서 소정의 화상처리를 실시한 뒤 화상을 표시하는 데이터 처리부를 구비하고, 데이터 요구부는 카메라 내에서 생성되는 동화상의 프레임을 다단계로 축소함으로써 얻어지는 다른 해상도의 복수 화상을 각각 소정의 직사각형 영역으로 배치한 합성화상을 지정하고, 데이터 전개부는 카메라로부터 송신된 합성화상을 합성 대상의 화상마다 개별의 2차원의 화상 데이터로 전개함으로써 화상을 분별하는 것을 특징으로 한다.
본 발명의 또 다른 양태는 화상 데이터 처리방법에 관한 것이다. 이 화상 데이터 처리방법은, 동화상 촬영장치가 실시하는 화상 데이터 처리방법으로서, 대상물을 촬영해서 얻어지는 동화상의 각 프레임을 다단계로 축소함으로써 다른 해상도의 복수 화상의 데이터를 각각 소정의 화소 순으로 생성하고, 스트림으로서 순차적으로 출력하는 스텝과, 출력하는 스텝에서 출력된 복수 화상의 데이터 중 소정의 복수 화상의 데이터를 화상의 1열분의 화소열 또는 그보다 작은 범위의 화소열마다 접속해서 스트림으로서 출력함으로써, 소정의 복수 화상을 포함하는 가상적인 합성화상을 생성하는 스텝과, 접속한 호스트 단말로부터 데이터의 송신 요구를 받아들이고, 출력하는 스텝 및 생성하는 스텝에서 출력된 복수의 스트림으로부터, 요구된 화상 및 영역에 포함되는 화소의 데이터를 추출해 감으로써 송신해야 할 데이터의 스트림을 생성하고, 호스트 단말에 송신하는 스텝을 포함하는 것을 특징으로 한다.
또한, 이상의 구성 요소의 임의의 조합, 본 발명의 표현을 방법, 장치, 시스템, 컴퓨터 프로그램, 컴퓨터 프로그램을 기록한 기록매체 등의 사이에서 변환한 것도 또한 본 발명의 양태로서 유효하다.
본 발명에 의하면, 촬상부터 그 데이터를 이용한 화상 표시까지의 지연시간을 억제할 수 있다.
도 1은 실시형태 1에 관한 저지연 카메라 시스템의 전체 구성을 나타내는 도면이다.
도 2는 실시형태 1에 관한 카메라의 구성을 나타내는 도면이다.
도 3은 실시형태 1에서의 카메라의 화상 합성부 및 화상 송출부의 구성을 상세히 나타내는 도면이다.
도 4는 실시형태 1에서의 호스트 단말의 내부 회로 구성을 나타내는 도면이다.
도 5는 실시형태 1의 카메라 및 호스트 단말에서의 데이터 형태의 기본적인 변천을 모식적으로 나타내는 도면이다.
도 6은 실시형태 1에서의 1/4 디모자이크 후 화상, 1/16 디모자이크 후 화상, 1/64 디모자이크 후 화상의 화소값의 피라미드 필터부로부터의 입력 타이밍을 나타내는 타임차트이다.
도 7은 실시형태 1에서 화상 합성부가 복수 화상의 화소열 데이터를 연결한 모습을 모식적으로 나타내는 도면이다.
도 8은 실시형태 1에서의 호스트 단말의 데이터 요구 처리 및 카메라의 데이터 송신 처리에 관한 구성을 나타내는 도면이다.
도 9는 실시형태 1에서의 화상 송출부의 구성의 변형예를 나타내는 도면이다.
도 10은 실시형태 2에 관한 카메라의 구성을 나타내는 도면이다.
도 11은 실시형태 3에 관한 카메라의 구성을 나타내는 도면이다.
도 12는 실시형태 3에서의 호스트 단말과 스테레오 카메라가 협동해서 화상처리를 실시하는 처리 순서의 예를 나타내는 플로차트와 생성되는 화상예를 나타내는 도면이다.
도 13은 실시형태 3에서의 호스트 단말과 스테레오 카메라가 협동해서 화상처리를 실시하는 처리 순서의 다른 예를 나타내는 플로차트와 생성되는 화상예를 나타내는 도면이다.
도 14는 실시형태 3에서의 호스트 단말과 스테레오 카메라가 협동해서 화상처리를 실시하는 처리 순서의 다른 예를 나타내는 플로차트와 생성되는 화상예를 나타내는 도면이다.
도 1은 본 실시형태에 따른 저지연 카메라 시스템(10)의 전체 구성을 나타낸다. 이 시스템에서는 사용자(6)의 동화상을 카메라(100)로 촬상하고, 그 데이터에 근거하여 호스트 단말(20)에서 화상처리를 실시해서 디스플레이(4)에 그 결과를 비추거나 또는 인터넷, LAN(Local Area Network) 등의 네트워크(12)를 통해 소정의 통신처에 송신하거나 한다.
카메라(100)는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등의 촬상소자를 구비한 디지털 비디오카메라이며, 도시한 바와 같이, 디스플레이(4)의 하우징의 상부에 설치된다. 디스플레이(4)는 예를 들어 액정 TV, 플라즈마 TV, PC 디스플레이 등이며, 통상 사용자(6)는 디스플레이(4)의 전방에 위치하여 카메라(100)에 의해 사용자의 전신 또는 일부가 촬상된다.
디스플레이(4)에 비치는 상은 저지연 카메라 시스템(10)에서 실행되는 애플리케이션에 따라 다르다. 예를 들어, 저지연 카메라 시스템(10)을 사용자(6)의 동작이나 표정을 인식해서 어느 하나의 조작 지시로서 해석하는 사용자 인터페이스(UI)로서 사용하는 경우, 디스플레이(4)에 비추어지는 상(8)은 사용자(6)의 얼굴이나 손 등 신체의 일부 또는 전신이다. 저지연 카메라 시스템(10)을 비디오 채팅으로서 사용하는 경우, 디스플레이(4)에 비추어지는 상(8)은 채팅 상대의 얼굴이며, 사용자(6) 자신의 상은 네트워크(12)를 통해 채팅 상대의 디스플레이상에 비추어진다.
상기와 같은 사용 양태로부터, 카메라(100)는 디스플레이(4)의 상부에 설치되는 것이 가장 적절하다. 그러나, 사용자(6)의 전신 또는 일부를 촬상할 수 있는 한, 디스플레이(4)의 근방 이외, 예를 들어 호스트 단말(20)의 근방이나 사용자의 주위 등에 배치되어도 된다. 또, 카메라(100)는 단체(單體) 구성이 아닌 디스플레이(4)의 하우징 등에 매립되어 있어도 된다. 카메라(100)에서 촬상 소자를 사용하는 대신 아날로그 화상을 A/D 변환해서 이용해도 된다.
호스트 단말(20)은 화상처리 기능을 구비한 퍼스널 컴퓨터나 게임장치 등의 컴퓨터 단말이다. 호스트 단말(20)은 사용자(6)를 카메라(100)로 촬영해서 얻어진 동화상의 각 프레임, 또는 각 프레임으로부터 얻어지는 각종 데이터를 시계열적으로 연속해서 도입하고, 소정의 화상처리를 실시한다. 비디오 채팅 애플리케이션의 경우에는, 사용자(6)의 화상을 네트워크(12)를 통해 실시간으로 채팅 상대에게 송신한다. 사용자 인터페이스 애플리케이션의 경우에는, 사용자(6)의 화상, 그로부터 얻어지는 각종 데이터 등에 근거하여 소정의 정보 처리를 실시하고, 그 결과를 디스플레이(4)에 출력한다.
예를 들면, 사용자(6)의 움직임에 따라 움직이는 캐릭터의 화상이나 사용자(6)의 손에 검 등의 아이템이 들린 화상을 실시간으로 디스플레이(4)에 출력한다. 이러한 애플리케이션에서 필요로 되는 사용자(6)의 얼굴 검출 처리나 특정 부위의 트래킹 처리는, 호스트 단말(20)이 실시해도 되고, 후술하는 바와 같이 카메라(100)가 실시하고, 그 결과를 상기 '각종 데이터'의 일부로서 호스트 단말(20)에 송신하도록 해도 된다.
또한, 상기 비디오 채팅 애플리케이션에서도, 얼굴 검출 처리의 결과 얻어진 사용자(6)의 얼굴 영역만 고해상도로 나타내는 등의 가공을 실시해도 된다. 호스트 단말(20)은, 상기 화상처리 외에 각종 애플리케이션을 실행하기 위한 메뉴나 커서 등의 오브젝트 화상을 합성해서 디스플레이(4)에 표시시킬 수도 있다.
이렇게, 저지연 카메라 시스템(10)에서 카메라(100)가 촬영한 동화상을 이용해서 이루어지는 처리는 여러 가지 생각할 수 있으며, 그 내용은 특별히 한정되지 않는다. 본 실시형태에서는 어느 처리를 실시하는 경우나, 카메라(100)가 동화상의 촬영뿐 아니라 그것을 이용한 어느 하나의 처리를 실시하고, 복수 종류의 데이터를 생성한다. 카메라(100)가 실시하는 처리, 나아가서는 그 구성도 또한, 애플리케이션이나 카메라 및 호스트 단말의 처리 능력 등에 따라 여러 가지 생각할 수 있다.
본 실시형태에서는, 카메라(100)가 자신이 촬영하고 있는 영상을 복수의 해상도로 나타낸 동화상 데이터를 생성해 가며, 호스트 단말(20)로부터의 요구에 따라, 그 중 필요한 데이터만을 실시간으로 호스트 단말(20)에 송출한다. 여기서 호스트 단말(2)은 해상도, 표색계나 그 요소 등 화상 전체의 표시방법을 지정할 수 있는 것 이외에, 프레임 내의 영역도 지정할 수 있는 것으로 한다.
예를 들면, 저해상도의 전체 화상의 데이터와 고해상도의 화상 중 주목해야 할 영역만의 화상 데이터를 카메라(100)로부터 취득하고, 그들의 화상을 화상 평면 상에서 합성함으로써, 데이터 전송의 부하를 억제하면서 주목해야 활 영역에 대해서는 상세하게 표현된 동화상을 표시할 수 있다. 이 예는, 호스트 단말(20)에서 얼굴 검출 처리를 실시함으로써 얻어진 얼굴의 영역을 주목해야 할 영역으로 하면, 비디오 채팅 등의 애플리케이션에 유효하다.
도 2는 본 실시형태에 관한 카메라(100)의 구성을 나타낸다. 동 도면 및 후술하는 도 3, 4, 8∼11은 하드웨어적으로는 CPU(Central Processing Unit), RAM(Random Access Memory), ROM(Read Only Memory), 묘화회로 등의 구성으로 실현할 수 있고, 소프트웨어적으로는 데이터 입력 기능, 데이터 유지 기능, 화상처리 기능, 묘화 기능 등의 모든 기능을 발휘하는 프로그램으로 실현된다. 이들 도면에서는 그들의 제휴에 의해 실현되는 기능 블록을 도시하고 있다. 따라서, 이들의 기능 블록은 하드웨어, 소프트웨어의 조합에 따라 여러 가지 형태로 실현할 수 있다. 또한, 도 2 중에는 설명을 용이하게 하기 위해, 각 기능 블록에서 처리되는 화상 부분의 모식도도 포함되어 있다.
카메라(100)는 화상 취득부(102), 디모자이크부(104), 피라미드 필터부(170), 화상 합성부(156), 화상 송출부(151) 및 통신부(108)를 구비한다. 화상 취득부(102)는 CCD 또는 CMOS 등의 촬상 소자로 노광된 화상을 소정의 타이밍(예를 들어, 60회/초)으로 읽어낸다. 이하의 설명에서는, 이 화상은 가로방향으로 화소 W개분, 세로방향으로 화소 H개분의 폭을 가지는 것으로 한다. 이 화상은 이른바 RAW 화상이다. 화상 취득부(102)는 RAW 화상의 가로 1열분의 노광이 완료될 때마다 이것을 디모자이크부(104) 및 화상 송출부(151)에 보낸다.
디모자이크부(104)는 화소 W개분의 용량을 갖는 FIFO(First In First Out) 버퍼(105)와 간이 디모자이크 처리부(106)를 갖는다. FIFO 버퍼(105)에는 RAW 화상의 가로 1열분의 화소 정보가 입력되고, 다음의 가로 1열분의 화소가 디모자이크부(104)에 입력될 때까지 그것을 유지한다. 간이 디모자이크 처리부(106)는 가로 2열분의 화소를 수취하면, 그들을 이용해서 각 화소에 대해 그 주변 화소에 근거하여 색 정보를 보완해서 풀컬러 화상을 만들어 내는 디모자이크(de-mosaic) 처리를 실행한다.
당업자에게는 주지인 바와 같이, 이 디모자이크 처리에는 다수의 수법이 존재하는데, 여기에서는 가로 2열분의 화소만을 이용하는 간이한 디모자이크 처리로 충분하다. 일례로서, 대응하는 YCbCr값을 산출해야 하는 화소가 G값만을 갖고 있는 경우에는, R값은 좌우에 인접하는 R값을 평균, G값은 상기 G값을 그대로 사용, B값은 위 또는 아래에 위치하는 B값을 사용해서 RGB값으로 하고, 이것을 소정의 변환식에 대입해서 YCbCr값을 산출하는 등이다. 이러한 디모자이크 처리는 주지이므로 더 이상 상세한 설명은 생략한다. 또한, 디모자이크부(104) 및 이후의 처리에서 생성되는 화상 데이터의 색 공간은 YCbCr에 한정되는 것은 아니다.
간이한 디모자이크 처리로 충분한 이유는, 고품질의 화상이 필요한 경우는RAW 화상을 이용할 수 있기 때문이다. 간이한 디모자이크 처리의 변형예로서, RGB의 4화소로부터 1화소의 YCbCr값을 구성하는 방법을 이용해도 된다. 이 경우에는 RAW 화상의 1/4 사이즈의 디모자이크 후 화상이 얻어지므로, 후술하는 제1 필터(110)는 불필요해진다.
간이 디모자이크 처리부(106)는 예를 들어 도시한 바와 같이, 가로 2×세로 2의 RGB의 4화소를 YCbCr 컬러 신호로 변환한다. 그리고, 이 4화소로 이루어지는 블록은 화상 송출부(151)에 1/1 디모자이크 화상으로서 건네짐과 함께, 피라미드 필터부(170)에 보내진다.
피라미드 필터부(170)는 어떤 화상을 복수의 해상도로 계층화해서 출력하는 기능을 갖는다. 피라미드 필터는 일반적으로 필요로 하는 해상도의 레벨에 따른 수의 1/4 축소 필터를 구비하는데, 본 실시형태에서는 제1 필터(110)∼제3 필터(130)의 3계층의 필터를 갖고 있다. 각 필터는 상호 인접하는 4개의 화소를 바이리니어 보간하여 4화소의 평균 화소값을 연산하는 처리를 실행한다. 따라서, 처리 후의 화상 사이즈는 처리전 화상의 1/4이 된다. 또한, 본 실시형태는 3계층 이외의 필터수이어도 동일하게 적용할 수 있는 것은 당업자에게는 용이하게 이해되는 바이다.
제1 필터(110)의 앞 단에는 Y, Cb, Cr 각각의 신호에 대응하여, 화소 W개분의 FIFO 버퍼(112)가 하나씩 배치된다. 이들 FIFO 버퍼(112)는 가로 1열분의 YCbCr 화소를 다음 가로 1열분의 화소가 간이 디모자이크 처리부(106)로부터 출력될 때까지 유지하는 역할을 갖는다. 화소의 유지 시간은 촬상 소자의 라인 스캔의 속도에 따라 정해진다. 가로 2열분의 화소가 입력되면, 제1 필터(110)는 가로 2×세로 2의 4화소분의 Y, Cb, Cr의 화소값을 평균한다. 이 처리를 반복함으로써, 1/1 디모자이크 후 화상은 세로와 가로 각각 1/2의 길이가 되고, 전체적으로 1/4의 사이즈로 변환된다. 변환된 1/4 디모자이크 후 화상은 화상 합성부(156)로 보내짐과 함께 다음 단인 제2 필터(120)에 건네진다.
제2 필터(120)의 앞 단에는 Y, Cb, Cr 각각의 신호에 대응하여, 화소 W/2개분의 FIFO 버퍼(122)가 하나씩 배치된다. 이들 FIFO 버퍼(122)도 가로 1열분의 YCbCr 화소를 다음의 가로 1열분의 화소가 제1 필터(110)로부터 출력될 때까지 유지하는 역할을 갖는다. 가로 2열분의 화소가 입력되면, 제2 필터(120)는 가로 2×세로 2의 4화소분의 Y, Cb, Cr의 화소값을 평균한다. 이 처리를 반복함으로써, 1/4 디모자이크 후 화상은 세로와 가로 각각 1/2의 길이가 되고, 전체적으로 1/16의 사이즈로 변환된다. 변환된 1/16 디모자이크 후 화상은, 화상 합성부(156)에 보내짐과 함께 다음 단인 제3 필터(130)에 건네진다.
제3 필터(130)에 대해서도 앞 단에 W/4개분의 FIFO 버퍼(132)가 배치되는 것 이외는 상기와 동일한 처리를 반복한다. 그리고, 화상 합성부(156)에 1/64 사이즈의 디모자이크 후 화상을 출력한다. 또한, 상기와 같은 피라미드 필터는 특허문헌 1에도 기재되어 있는 바와 같이 주지이므로, 본 명세서에서는 더 이상 상세한 설명을 생략한다.
이와 같이, 피라미드 필터부(170)의 각 필터로부터는 1/4씩 축소된 화상 출력이 화상 합성부(156)에 입력된다. 이로부터 알 수 있는 바와 같이, 피라미드 필터부(170) 내의 필터를 통과할수록, 각 필터의 앞 단에 필요로 되는 FIFO 버퍼의 크기는 작아도 되게 된다. 또한, 필터의 수는 3개에 한정되지 않고, 요구되는 해상도의 폭에 따라 적절히 결정해도 된다..
화상 합성부(156)는 제1 필터(110), 제2 필터(120), 제3 필터(130)로부터 각각 1/4, 1/16, 1/64 디모자이크 후 화상의 YCbCr 화소값을 수취한다. 그리고 각 화상의 가로 1열분의 화소열 혹은 1열분보다 작은 범위의 화소열을 소정의 규칙으로 연결하고, Y, Cb, Cr의 화소값의 각각에 대해 1/4, 1/16, 1/64 디모자이크 후 화상의 화소열이 접속한 새로운 화소열을 생성한다. 생성된 화소열은 화상 송출부(151)에 보내진다.
화상 송출부(151)는 입력된 복수 종류의 화상 데이터 중, 호스트 단말(20)로부터 통신부(108)를 통해 받은 데이터 요구에 따라 필요한 데이터를 골라낸다. 그리고 골라 낸 데이터를 패킷화해서 통신부(108)에 보낸다. 본 실시형태에서 카메라(100)가 실시하는 처리는 화상의 좌측 상부를 기점으로 해서, 좌측에서 우측으로의 처리를 화상의 아래 방향으로 반복하는 래스터 순서로 실행되며, 가로 1열의 화소를 기본적인 처리 단위로 한다. 그리고, 화상 송출부(151)로 입력하는 각종 화상의 데이터 형식 및 호스트 단말(20)로 송신되는 화상의 데이터 형식은 기본적으로, 화상의 가로 1열의 데이터를 위부터 순서대로 연결한 스트림으로 한다.
통신부(108)는, 예를 들어 USB1.0/2.0 등의 소정의 프로토콜에 따라 패킷을 호스트 단말(20)에 송출한다. 호스트 단말(20)과의 통신은 유선에 한하지 않고, 예를 들어 IEEE802.11a/b/g 등의 무선 LAN 통신, IrDA 등의 적외선 통신이어도 된다. 또한, 도 2에서는 Y, Cb, Cr의 데이터를 개별로 표현하고, 그 각각에 대해 데이터 입출력을 위한 화살표를 나타냈지만, 이후는 도면이 번잡해지는 것을 방지하기 위해 그들 요소를 1세트로 나타낸다.
본 실시형태에서, 화상 합성부(156)가 생성하는 데이터는 3개의 디모자이크 후 화상의 화소열이 혼재하는 일련의 화소값의 스트림이다. 따라서 엄밀하게는 3개의 디모자이크 후 화상을 연결한 결과를 2차원 평면의 화상으로서 생성하는 것이 아니다. 그러나 뒤에 상술하는 바와 같이, 화상 합성부(156)가 출력하는 스트림에 대해 화상의 가로 1열분의 화소수에 상당하는 화소수를 정의하면, 이후의 처리는 화상 합성부(156)를 통하지 않는 RAW 화상이나 1/1 화상의 데이터와 동일해진다. 결과적으로 화상 합성부(156)는 실질적으로는 1/4, 1/16, 1/64 디모자이크 후 화상을 합성한 화상을 생성하고 있는 것이 된다. 이후, 이 가상적인 화상을‘합성화상’이라고 한다.
도 3은 카메라(100)의 화상 합성부(156) 및 화상 송출부(151)의 구성을 상세히 나타내고 있다. 화상 합성부(156)는 제2 필터(120) 및 제3 필터(130)로부터 취득한 1/16, 1/64 디모자이크 후 화상의 가로 1열분의 데이터를 각각 일시 보존하는 FIFO 버퍼(149, 150)를 가진다.
그리고 뒤에 상술하는 바와 같이, 제1 필터(110)로부터의 1/4 디모자이크 후 화상의 가로 1열분의 화소의 데이터에 제2 필터(120)로부터의 1/16 디모자이크 후 화상의 가로 1열분의 화소열의 반분의 화소의 데이터와 제3 필터(130)로부터의 1/64 디모자이크 후 화상의 가로 1열분의 화소열의 4분의 1분의 화소의 데이터를 이 순서로 연결해서 가상적인 합성화상의 가로 1열분의 데이터로 한다.
화상 송출부(151)는 데이터 선택부(154), 패킷화부(162) 및 제어부(164)를 가진다. 화상 송출부(151)의 제어부(164)는, 호스트 단말(20)로부터의 요구에 근거하여 데이터 선택부(154)에 각종 화상 데이터 중 어느 것을 패킷으로 해서 송출할지를 지시한다. 데이터 선택부(154)는 화상 취득부(102)로부터 입력된 RAW 화상, 디모자이크부(104)로부터 입력된 1/1 디모자이크 후 화상, 화상 합성부(156)로부터 입력된 합성화상의 화소열의 데이터를 입력 데이터로 해서, 제어부(164)로부터 지시된 데이터를 선택, 추출하고, 패킷화부(162)에 보낸다.
이때, 호스트 단말(20)로부터의 요구에 따라서는 상술대로, 어떤 화상 데이터의 스트림을 그대로 보내는 경우와 주목해야 할 영역에 포함되는 일부의 범위의 데이터만을 보내는 경우가 있다. 후자의 경우, 보내는 부분의 데이터를 연결함으로써 스트림을 재구축한다. 패킷화부(162)는 데이터 선택부(154)로부터 입력된 스트림을 통신부(108)의 프로토콜에 따른 사이즈마다 패킷화하고, 내부의 패킷 버퍼(미도시)에 기입한다. 예를 들면 USB의 경우, 스트림을 엔드 포인트(end point)의 사이즈마다 패킷화한다.
통신부(108)는 상기 패킷 버퍼 내의 패킷을 소정의 통신 프로토콜에 따라 호스트 단말(20)에 전송한다. 또한, RAW 화상, 1/1 디모자이크 후 화상, 합성화상의 데이터 중, 복수 화상의 데이터가 요구된 경우, 데이터 선택부(154)는 그들에 대응하는 복수의 스트림을 패킷화부(162)에 입력한다. 데이터 선택부(154)의 출력 및 패킷화부(162)의 입출력, 통신부(108)의 입출력에 복수의 채널을 마련하고, 요구된 복수의 데이터를 병렬로 송신하도록 함으로써, 보다 저지연의 데이터 송출을 실현해도 된다. 이 경우에 대해서는 뒤에 상술한다.
도 4는 호스트 단말(20)의 내부 회로 구성을 나타내고 있다. 호스트 단말(20)은 CPU(Central Processing Unit)(50), GPU(Graphics Porcessing Unit)(52), 표시 제어부(54), 기억부(56), 메인 메모리(58) 및 통신부(60)를 포함한다. CPU(50)는, 오퍼레이팅 시스템이나 애플리케이션 등의 프로그램에 근거하여 신호 처리나 내부 구성 요소를 제어한다. GPU(52)는 CPU(50)로부터의 요구에 따라 화상처리를 실시한다. 표시 제어부(54)는 GPU(52)가 프레임 버퍼(미도시)에 묘화한 화상 데이터를 디스플레이(4)에 표시하기 위한 비디오 신호를 생성한다.
기억부(56)는 하드디스크 드라이브나 비휘발성 메모리 등으로 구성되며, 저지연 카메라 시스템(10)을 동작시키기 위한 프로그램이나 필요한 데이터가 저장된다. 메인 메모리(58)는 RAM(random access memory) 등으로 구성되며, 프로그램이나 데이터의 로드 외에, 카메라(100)로부터 송신된 데이터를 저장한다. 통신부(60)는 USB나 IEEE1394 등의 주변기기 인터페이스나 유선 또는 무선 LAN의 네트워크 인터페이스이며, 본 실시형태에서는 특히 카메라(100)에 대한 데이터 요구 신호의 송신, 카메라(100)로부터 송신된 데이터의 수신을 실시한다. 이들의 각 부는 버스(62)를 통해 상호 접속되어 있다. 또한, GPU(52)는 텍스처 데이터 등 처리에 필요한 데이터를 버스(62)를 통해 메인 메모리(58)로부터 직접 읽어낼 수 있다.
도 5는 카메라(100) 및 호스트 단말(20)에서의 데이터 형태의 기본적인 변천을 모식적으로 나타내고 있다. 여기에서는 예로서, 가로방향으로 화소 W개분, 세로방향으로 화소 H개분의 폭을 가지는 프레임 화상(200) 전체의 데이터를 카메라(100)로부터 호스트 단말(20)에 송신할 경우를 생각한다. 상술과 같이 본 실시형태에서는 화상 데이터의 생성, 선택, 송신을 화소의 래스터 순서으로 실시하고, 가로 1열분의 화소열을 순차적으로 연결해서 스트림의 형식으로 처리한다.
이러한 상황에서 데이터 선택부(154)가 출력하는 데이터가 스트림(202)이다. 동 도면에서 스트림(202)의 가로축은 시간경과를 나타내고 있으며, 스트림(202)을 구성하는 각 직사각형(L1, L2, …, LH)은 각각 프레임 화상(200)의 1열째, 2열째, …, H열째의 화소의 데이터를 나타낸다. 1화소의 데이터 사이즈를 d 바이트로 하면 각 직사각형의 데이터 사이즈는 W×d 바이트이다.
패킷화부(162)는 스트림(202)을 소정 사이즈마다 패킷으로 해서, 패킷 P1, P2, P3, P4, P5, …을 생성한다. 이에 의해 카메라(100)로부터 호스트 단말(20)로 패킷 P1, P2, P3, P4, P5, …의 순으로 송신된다. 호스트 단말(20)은 패킷 P1, P2, P3, P4, P5, …을 통신부(60)를 통해 수신하면, CPU(50)의 제어하에 메인 메모리(58)에 저장한다.
이때, 본래의 프레임 화상(200)의 가로방향의 화소수(W)를 가로 폭으로 하도록 메인 메모리(58)에 패킷의 데이터를 래스터 순서로 나열해 가서 W×d×H 바이트의 연속한 어드레스에 데이터를 전개함으로써, 화상(204)을 복원한다. 동 도면에서 화상(204)을 구성하는 직사각형은 각 패킷의 데이터를 나타내고 있다. GPU(52)는 CPU(50)의 제어하에 메인 메모리(58)에 전개된 화상(204)에 가공을 하거나 다른 화상과 합성하거나 해서 디스플레이(4)에 표시해야 할 화상을 묘화한다.
다음으로 화상 합성부(156)가 1/4, 1/16, 1/64 디모자이크 후 화상을 합성하는 수법에 대해 설명한다. 도 6은 1/4 디모자이크 후 화상, 1/16 디모자이크 후 화상, 1/64 디모자이크 후 화상의 화소값의 피라미드 필터부(170)의 각 필터로부터의 입력 타이밍을 나타내는 타임차트이다. 동 도면에서 시간 스텝 S1, S2, S3, S4, …은 각각 1/4 디모자이크 후 화상의 1행째, 2행째, 3행째, 4행째, …의 화소값이 입력되는 기간을 나타낸다.
상기 1/4 디모자이크 후 화상과 같이, 합성화상에 포함되는 화상 중 최고 해상도의 화상은, 피라미드 필터부(170)에서의 데이터의 생성률이 가장 높다. 그래서 상기 화상의 가로 1열분의 화소값이 입력되는 기간을 기준 시간 스텝으로 하고, 상기 시간 스텝을 합성화상의 가로 1열분의 화소열과 대응시킨다. 즉, 최고 해상도 화상의 가로 1열분의 화소값이 입력되는 기간을 기준 주기로 해서, 합성화상의 가로 1열분의 데이터가 생성된다.
도면의 상단, 중단, 하단은 각각 1/4 디모자이크 후 화상, 1/16 디모자이크 후 화상, 1/64 디모자이크 후 화상의 입력 타이밍을 나타내고 있으며, 하나의 직사각형이 1화소분의 입력에 대응한다. 먼저 시간 스텝(S1)에서, 1/4 디모자이크 후 화상의 1열째의 화소열(L(1/4)1)의 화소값이 좌측 화소로부터 순서대로 입력된다. 이 시간 스텝에서는 1/16 디모자이크 후 화상, 1/64 디모자이크 후 화상은 생성되어 있지 않기 때문에 입력되지 않는다.
다음 시간 스텝(S2)에서는, 1/4 디모자이크 후 화상의 2열째의 화소열(L(1/4)2)의 화소값이 좌측 화소부터 순서대로 입력된다. 이때 피라미드 필터부(170)에서는 1/4 디모자이크 화상의 1열째의 화소열(L(1/4)1) 및 2열째의 화소열(L(1/4)2)의 화소값을 이용해서 1/16 디모자이크 후 화상의 1열째의 화소열(L(1/16)1)이 생성되기 때문에, 시간 스텝(S2)에서는 상기 화소열의 화소값도 입력된다.
예를 들면 1/16 디모자이크 후 화상의 1열째의 화소열(L(1/16)1)의 좌측 끝의 기간(210)에서 입력되는 화소값은, 1/4 디모자이크 후 화상의 1열째의 화소열(L(1/4)1) 중 기간(206)에서 입력되는 2개의 화소의 화소값 및 2열째의 화소열(L(1/4)2) 중 기간(208)에서 입력되는 2개의 화소의 화소값을 이용해서 생성된다. 이 때문에 시간 스텝(S2)에서, 화소열(L(1/16)1)의 화소값의 입력 타이밍은 화소열(L(1/4)2)이 대응하는 화소의 화소값의 입력 타이밍보다 적어도 2화소분 지연된다.
다음 시간 스텝(S3)에서는, 1/4 디모자이크 후 화상의 3열째의 화소열(L(1/4)3)의 화소값이 입력된다. 이 시간 스텝에서는 1/16 디모자이크 후 화상의 2열째의 화소값이 생성되어 있지 않아, 1/64 디모자이크 후 화상은 생성되어 있지 않기 때문에, 그 어느 것도 입력되지 않는다. 다음 시간 스텝(S4), 즉 1/4 디모자이크 화상의 4열째의 화소열(L(1/4)4)의 화소값이 입력되는 기간에서는, 시간 스텝(S2)과 마찬가지로 1/16 디모자이크 후 화상의 2열째의 화소열(L(1/16)2)의 화소값도 입력된다.
또, 피라미드 필터부(170)에서는, 1/16 디모자이크 화상의 1열째의 화소열(L(1/16)1) 및 2열째의 화소열(L(1/16)2)의 화소값을 이용해서 1/64 디모자이크 후 화상의 1열째의 화소열(L(1/64)1)이 생성되기 때문에, 시간 스텝(S4)에서는 상기 화소열의 화소값도 입력된다. 예를 들면 1/64 디모자이크 후 화상의 1열째의 화소열(L(1/64)1) 중, 최초의 입력 기간(218)에서 입력되는 화소값은 1/16 디모자이크 화상의 1열째의 화소열(L(1/16)1) 중 기간(210) 및 기간(212)에서 입력되는 2개의 화소의 화소값 및 2열째의 화소열(L(1/16)2) 중 기간(214) 및 기간(216)에서 입력되는 2개의 화소의 화소값을 이용해서 생성된다.
이 때문에 시간 스텝(S4)에서, 화소열(L(1/64)1)의 입력 타이밍은 화소열(L(1/16)2)의 대응하는 화소의 화소값의 입력 타이밍보다 적어도 2화소분 지연된다. 이후, 마찬가지로 각 화상의 화소값 입력을 반복함으로써, 1/4 디모자이크 후 화상, 1/16 디모자이크 후 화상, 1/64 디모자이크 후 화상의 전체 화소값이 화상 합성부(156)로 입력된다.
이렇게 각 화상의 화소값은, 피라미드 필터부(170)의 대응하는 필터로부터 개별 스트림으로 래스터 순서로 입력된다. 화상 합성부(156)는 이들을 연결해서 하나의 스트림이 되도록 해서 화상 송출부(151)로 출력한다. 가장 단순하게는 원래의 화상에 관계없이, 입력된 시간순으로 화소값의 데이터를 연결해 가는 것을 생각할 수 있다. 이 경우, 합성 처리 자체는 용이하지만, 나중의 처리에서 화상마다 1열씩 데이터를 분류, 추출할 필요가 생겨, 처리가 번잡화된다.
또 각 시간 스텝에서 화상마다 화소값을 모아서 화소열을 생성하고, 그들을 직렬로 연결히는 것도 생각할 수 있다. 이 경우, 시간 스텝(S1이나 S3)에서는 입력되는 화소값이 1/4 디모자이크 후 화상 데이터만인 것에 대해, 예를 들면 시간 스텝(S4)에서는 1/4 디모자이크 화상, 1/16 디모자이크 화상, 1/64 디모자이크 화상의 3개 화상의 데이터가 되는 등, 시간 스텝에 의해 출력되는 데이터 길이가 크게 변화한다. 그래서 본 실시형태에서는 데이터가 입력되지 않는 시간 스텝이 있는 화상에 대해서는, 그 시간 스텝을 이용해서 직전에 입력된 화소값의 일부를 출력하도록 하여, 각 시간 스텝에서 출력되는 데이터 길이를 대략 균등화한다.
도 7은 화상 합성부(156)가 복수 화상의 화소열의 데이터를 연결한 모습을 모식적으로 나타내고 있다. 도면 중 S0, S1, S2, S3, …는 도 6과 동일한 시간 스텝이며, 각각의 기간에 1/4 디모자이크 후 화상의 1열분의 화소값이 입력된다. 동 도면에서는 각 시간 스텝에 데이터가 출력되는 화소열을 화상마다 다른 해칭 직사각형으로 나타내고 있다. 도 6을 참조해서 설명한 바와 같이, 시간 스텝(S1)에서는 1/4 디모자이크 후 화상의 1열째의 화소열(L(1/4)1)의 화소값만이 입력되기 때문에, 화상 합성부(156)는 그대로 출력한다. 원래의 RAW 화상의 가로방향의 화소수가 W라고 한다면, 1/4 디모자이크 후 화상의 1열분의 화소수는 동 도면에 나타내는 바와 같이 W/2이다.
다음 시간 스텝(S2)에서는, 1/4 디모자이크 후 화상의 2열째의 화소열(L(1/4)2)의 화소값 및 1/16 디모자이크 후 화상의 1열째의 화소열(L(1/16)1)의 화소값이 도 6에 나타내는 바와 같은 타이밍에 병렬로 입력된다. 화상 합성부(156)는 그 중, 1/16 디모자이크 후 화상의 1열째의 화소열(L(1/16)1)의 화소값을 FIFO 버퍼(149)에 일시 보존하고, 1/4 디모자이크 후 화상의 2열째의 화소열(L(1/4)2)의 화소값을 연속해서 먼저 출력한다.
1/4 디모자이크 화상의 2열째의 화소열(L(1/4)2)의 화소값이 모두 출력되면, 이어서 1/16 디모자이크 후 화상의 1열째의 화소열(L(1/16)1)을 FIFO 버퍼(149)로부터 읽어내고, 출력한다. 이때 다음 시간 스텝(S3)에서 출력하는 분을 고려하여, 1/16 디모자이크 후 화상의 1열째의 화소열(L(1/16)1)의 전체 화소 중 전반(前半) 부분(화상 평면에서의 좌측 반분)의 화소값만 출력하고, 나머지는 FIFO 버퍼(149)에 계속 보존해 둔다.
다음 시간 스텝(S3)에서는, 1/4 디모자이크 후 화상의 3열째의 화소열(L(1/4)3)의 화소값만이 입력된다. 화상 합성부(156)는 상기 화소열의 화소값을 그대로 출력하고, 이어서 1/16 디모자이크 후 화상의 1열째의 화소열(L(1/16)1) 중 출력되지 않은 후반(後半) 부분(화상 평면에서의 우측 반분)의 화소값을 내부 메모리로부터 읽어내고, 출력한다.
다음 시간 스텝(S4)에서는, 1/4 디모자이크 후 화상의 4열째의 화소열(L(1/4)4)의 화소값 및 1/16 디모자이크 후 화상의 2열째의 화소열(L(1/16)2), 1/64 디모자이크 후 화상의 1열째의 화소열(L(1/64)1)의 화소값이 도 6에 나타내는 바와 같은 타이밍에 병렬로 입력된다. 화상 합성부(156)는 그 중 1/16 디모자이크 후 화상의 2열째의 화소열(L(1/16)2) 및 1/64 디모자이크 후 화상의 1열째의 화소열(L(1/64)1)의 화소값을 각각 FIFO 버퍼(149, 150)에 일시 보존하고, 1/4 디모자이크 후 화상의 4열째의 화소열(L(1/4)4)의 화소값을 연속해서 먼저 출력한다.
1/4 디모자이크 화상의 4열째의 화소열(L(1/4)4)의 화소값이 모두 출력되면, 이어서 1/16 디모자이크 후 화상의 2열째의 화소열(L(1/16)2)의 전반 부분을 FIFO 버퍼(149)로부터 읽어내고, 출력한다. 다음으로 1/64 디모자이크 후 화상의 1열째의 화소열(L(1/64)1)을 출력한다. 이때 다음 이후의 3개의 시간 스텝(S5, S6, S7)에서 출력하는 분을 고려하여, 1/64 디모자이크 후 화상의 1열째의 화소열(L(1/16)1)을 4분의 1 분할하고, 그 최초 부분의 화소값만 출력한다. 나머지는 FIFO 버퍼(150)에 보존해 둔다.
다음 시간 스텝(S5)에서는, 1/4 디모자이크 후 화상의 5열째의 화소열(L(1/4)5)의 화소값만이 입력된다. 화상 합성부(156)는 상기 화소열의 화소값을 그대로 출력하고, 이어서 1/16 디모자이크 후 화상의 2열째의 화소열(L(1/16)2) 중 출력되지 않은 후반 부분의 화소값을 FIFO 버퍼(149)로부터 읽어내고, 출력한다. 또한 1/64 디모자이크 후 화상의 1열째의 화소열(L(1/16)1)의 출력되지 않은 데이터 중 4분의 1 분할한 2번째 부분의 화소값을 출력한다.
마찬가지로, 다음 시간 스텝(S6)에서는 1/4 디모자이크 후 화상의 6열째의 화소열(L(1/4)6)의 화소값, 1/16 디모자이크 후 화상의 3열째의 화소열(L(1/16)3)의 전반 부분의 화소값, 1/64 디모자이크 후 화상의 1열째의 화소열(L(1/64)1)의 출력되지 않은 데이터 중 4분의 1 분할한 3번째 부분의 화소값을 출력한다. 다음 시간 스텝(S7)에서는, 1/4 디모자이크 후 화상의 7열째의 화소열(L(1/4)7)의 화소값, 1/16 디모자이크 후 화상의 3열째의 화소열(L(1/16)3)의 후반 부분의 화소값, 1/64 디모자이크 후 화상의 1열째의 화소열(L(1/64)1) 중 4분의 1 분할한 마지막 부분의 화소값을 출력한다.
즉 1/16 디모자이크 후 화상의 1열째의 화소열(L(1/16)1)은, 시간 스텝(S2 및 S3)의 2개의 시간 스텝으로 반분씩 출력된다. 또 1/64 디모자이크 후 화상의 1열째의 화소열(L(1/64)1)은 시간 스텝(S4, S5, S6, S7)의 4개의 시간 스텝으로 4분의 1씩 출력된다. RAW 화상의 가로방향의 화소수가 W라고 하면, 1/16 디모자이크 후 화상 및 1/64 디모자이크 후 화상의 가로 1열분의 화소수는 각각 W/4, W/8이기 때문에, 동 도면에 나타내는 바와 같이, 시간 스텝당 (W/4)/2개, (W/8)/4개 화소의 데이터가 각각 출력된다.
이상의 출력 처리를 화상의 최하단의 열까지 반복한다. 이때 1/4 디모자이크 후 화상의 최하단 화소열의 데이터를 출력한 시점에서는, 1/16 디모자이크 후 화상의 최하단 화소열의 후반 부분의 데이터 및 1/64 디모자이크 후 화상의 최하단의 나머지 4분의 3 화소의 데이터가 출력되지 않게 된다. 그래서 직후의 시간 스텝(S(H/2+1))에서는 1/16 디모자이크 후 화상의 최하단 화소열의 후반 부분의 데이터 및 1/64 디모자이크 후 화상의 최하단 화소열을 4분의 1 분할한 2번째 부분의 데이터를 출력한다.
이때, 그때까지 1/4 디모자이크 후 화상 데이터를 출력하고 있던 W/2 화소분의 데이터로서, 우선 무효 데이터를 출력하고, 이어 1/16 디모자이크 후 화상, 1/64 디모자이크 후 화상의 데이터를 출력한다. 계속되는 2개의 시간 스텝(S(H/2+2), S(H/2+3))에서는, 그때까지 1/4 디모자이크 후 화상 및 1/16 디모자이크 후 화상의 데이터를 출력하고 있던 W/2+(W/4)/2 화소분의 데이터로서, 우선 무효 데이터를 출력하고, 이어 1/64 디모자이크 후 화상의 최하단의 화소열을 4분의 1 분할한 3번째 부분, 4번째 부분의 데이터를 각각 출력한다.
이렇게 출력하면 동 도면에 나타내는 바와 같이, 처음 3개의 시간 스텝과 마지막 3개의 시간 스텝을 제외하고, 항상 W/2+(W/4)/2+(W/8)/4=21W/32개의 화소의 데이터가 출력되게 된다. 또 1열분의 화소값을 출력하는데 1/4 디모자이크 후 화상은 1시간 스텝, 1/16 디모자이크 후 화상은 2시간 스텝, 1/64 디모자이크 후 화상은 4시간 스텝을 필요로 하기 때문에, 1 프레임분의 화상 데이터를 출력하는데 필요한 시간 스텝 수는 H/2=(H/4)×2=(H/8)×4로, 모두 동일해진다. 결과적으로, 3개 화상의 1 프레임분의 데이터를 출력하는데 필요한 총 시간 스텝 수는 H/2+3이 된다.
상술과 같이 화상 합성부(156)가 출력하는 데이터는 화소값의 나열인데, 각 시간 스텝에 대응하는 화소의 개수, 즉 21W/32을 가로 1열분의 화소의 개수로서 제공해 둠으로써, 화상 송출부(151)에서는 RAW 화상이나 1/1 디모자이크 후 화상과 마찬가지로, 각 시간 스텝에서 출력되는 데이터를 화상의 1열분의 데이터로서 취급한다.
따라서 각 시간 스텝을 화상의 세로방향의 화소에 대응시킬 수 있고, 결과적으로, 도 7의 전체적인 직사각형 영역으로 나타나는 바와 같은 합성화상(220)을 생성하고 있는 것이 된다. 상술과 같이 각 시간 스텝에서 출력하는 화소열에서 각 화상의 데이터가 차지하는 범위를 고정함으로써, 합성화상(220)에서 1/4 디모자이크 후 화상, 1/16 디모자이크 후 화상, 1/64 디모자이크 후 화상의 데이터는 각각 모여진 직사각형 영역을 구성한다. 그 때문에, 그 국소성을 이용하면, 화상마다 데이터를 용이하게 잘라낼 수 있다.
도 8은 호스트 단말(20)의 데이터 요구 처리 및 카메라(100)의 데이터 송신 처리에 관한 구성을 나타내고 있다. 또한, 동 도면에서, 도 3 및 4에서 나타낸 기능 블록과 중복되는 것에는 동일한 부호를 붙이고, 그 설명을 일부 생략한다. 또 호스트 단말(20)과 카메라(100)는 상술과 같이 서로의 통신부를 통해 각종 데이터를 보내고 받는데, 동 도면에서는 생략했다. 호스트 단말(20)의 CPU(50)는 데이터 요구부(64), 데이터 처리부(66) 및 데이터 전개부(68)를 가진다. 카메라(100)의 화상 송출부(151)의 데이터 선택부(154)는, 스트림 선택부(166) 및 크로핑부(168)를 가진다.
CPU(50)의 데이터 요구부(64)는 카메라(100)에 대해 송신을 요구하는 화상 및 그 영역을 지정하는 데이터 요구 신호를 송신한다. 송신을 요구하는 화상으로서는, 예를 들면 RAW 화상이나 각 사이즈의 디모자이크 후 화상 중 어느 하나를 지정한다. 영역은, 예를 들면 화상 평면에서의 상기 영역의 좌측 상부의 좌표와 가로방향, 세로방향의 폭을 지정한다. CPU(50)의 데이터 요구부(64)는 그 외에 촬영의 개시나 종료를 요구하는 신호, 촬영 조건을 지정하는 신호 등도 카메라(100)에 송신한다. 여기서 촬영 조건이란 예를 들면 프레임률, 셔터 스피드, 화이트 밸런스, 화각 등이며, 카메라(100)가 지닌 성능이나 CPU(50)가 실행하고 있는 애플리케이션 등에 따라 결정된다.
화상 송출부(151)의 제어부(164)는 데이터 요구부(64)로부터의 데이터 요구 신호를 수신하면, 데이터 선택부(154)에 그 정보를 공급한다. 촬영의 개시나 종료를 요구하는 신호, 촬영 조건을 지정하는 신호 등을 수신한 경우, 제어부(164)는 카메라(100)의 화상 취득부(102) 등에 적절히 그 정보를 제공하는데, 여기에서는 일반적인 기술을 적용할 수 있기 때문에 상세한 설명을 생략한다.
데이터 선택부(154)의 스트림 선택부(166)는 화상 취득부(102), 디모자이크부(104), 화상 합성부(156)로부터 각각 RAW 화상, 1/1 디모자이크 후 화상, 합성화상 데이터의 스트림을 병렬로 읽어낸 뒤, 데이터 요구 신호로 지정되어 있는 화상 데이터만을 선택해서 크로핑부(168)에 출력한다. 크로핑부(168)는 입력된 화소의 데이터 중, 데이터 요구 신호로 지정되어 있는 직사각형 영역에 포함되는 화소의 데이터만을 추출하고, 패킷화부(162)에 출력한다.
크로핑부(168)가 실시하는 처리는, 화상 내의 지정된 직사각형 영역을 잘라내서 여분인 영역을 제외하는 일반적인 크로핑 처리와 동일하다. 본 실시형태에서는 처리 대상이 화상 평면이 아닌 화소열 단위가 되는데, 원래의 화상의 가로 1열분의 화소수의 정보를 제공해 두면, 화상 평면의 2차원 좌표를 스트림에서의 1차원 좌표와 대응 짓는 것이 용이하며, 잘라내는 화소의 특정은 동일하게 실시할 수 있다.
본 실시형태에서는 1/4 디모자이크 후 화상, 1/16 디모자이크 후 화상, 1/64 디모자이크 후 화상의 데이터를 도 7에 나타내는 바와 같은 합성화상 상의 직사각형 영역으로 모았기 때문에, 이 크로핑 처리에 의해 3개 화상을 용이하게 자를 수 있다. 예를 들면 도 7에 나타낸 합성화상 중, 좌표(W/2, 1)를 좌측 상부의 정점으로 하는 가로방향의 폭 W/8, 세로방향의 폭 H/2인 영역을 지정하면, 1/16 디모자이크 후 화상의 전체 영역만을 잘라낼 수 있다.
데이터 선택부(154)가 이상의 처리를 반복함으로써, 데이터 요구 신호로 지정된 화상 내 영역의 데이터가 화소열을 연결한 스트림 형식으로 패킷화부(162)에 연속해서 출력된다. 패킷화부(162)가 수취한 스트림은 FIFO의 정책으로 소정의 사이즈마다 패킷화되고, 순차적으로 호스트 단말(20)에 송신된다.
호스트 단말(20)의 데이터 전개부(68)는 카메라(100)로부터 수신한 패킷을 도 5에 나타내는 바와 같이 메인 메모리(58)에 화상 평면으로서 전개한다. 데이터 처리부(66)는 전개된 화상을 이용해서 실행중인 애플리케이션에 따른 처리를 실시한다. 이때 필요에 따라 GPU(52)에 화상처리를 요구하고, GPU(52)는 메인 메모리(58)로부터 화상을 읽어내어, 가공이나 합성을 실시해도 된다. 메인 메모리(58)에 전개된 화상 데이터는 일반적인 화상 데이터와 동일하기 때문에, 텍스처로서 읽어내는 것도 가능하다.
데이터 처리부(66)는 메인 메모리(58)에 전개된 화상을 해석해서 얼굴 영역이나 추적 대상의 위치를 취득하고, 그 영역의 정보를 데이터 요구부(64)에 공급해도 된다. 이때 데이터 요구부(64)는 상기 영역을 지정해서 새로운 데이터 요구 신호를 카메라(100)에 송신해도 된다. 이 경우, 카메라(100)의 크로핑부(168)는 새로운 화상 프레임을 처리하는 타이밍에, 추출할 영역을 지정에 따라 변경한다.
도 9는 화상 송출부의 구성의 변형예를 나타내고 있다. 동 도면에 있어서, 도 8에서 나타낸 기능 블록과 동일한 기능을 가지는 블록에는 동일한 부호를 붙이고, 그 설명을 일부 생략한다. 이 예에서는 화상 송출부(151)의 출력 및 통신부(108)의 입출력이 복수의 채널을 가진다. 복수의 채널을 마련함으로써, 다른 화상, 다른 영역의 데이터를 병렬로 추출하고, 병렬로 호스트 단말(20)로 송신할 수 있다.
이 경우, 채널수는 특별히 한정되지 않지만, 동 도면에서는 3채널을 마련함으로써, 3종류의 데이터를 동시에 송신한다. 그를 위해 화상 송출부(151)는 제1 데이터 선택부(154a), 제2 데이터 선택부(154b), 제3 데이터 선택부(154c)의 3개의 데이터 선택부와, 제1 패킷화부(162a), 제2 패킷화부(162b), 제3 패킷화부(162c)의 3개의 패킷화부가 마련된다. 제1 데이터 선택부(154a)와 제1 패킷화부(162a), 제2 데이터 선택부(154b)와 제2 패킷화부(162b), 제3데이터 선택부(154c)와 제3 패킷화부(162c)가 각각 직렬로 접속되고, 담당할 데이터의 선택, 추출 및 패킷화를 실시한다.
따라서 제1 데이터 선택부(154a), 제2 데이터 선택부(154b), 제3데이터 선택부(154c)는 각각, 스트림 선택부(166a)와 크로핑부(168a), 스트림 선택부(166b)와 크로핑부(168b), 스트림 선택부(166c)와 크로핑부(168c)의 세트를 가진다. 제어부(164)는 호스트 단말(20)로부터의 데이터 요구 신호에 지정된 최대 3개의 화상 및 영역의 정보를 3개의 데이터 선택부에 하나씩 할당한다.
여기에서 다른 채널에 할당하는 화상 및 영역의 정보는 모두가 다른 화상이어도 되고, 같은 화상의 다른 영역이어도 된다. 각 데이터 선택부 및 패킷화부의 세트가 실시하는 처리는, 도 8에 나타낸 데이터 선택부(154) 및 패킷화부(162)와 동일하다. 이렇게 하여 화상 송출부(151)로부터 병렬로 출력된 3개의 스트림의 패킷은 통신부(108)에 마련된 3개의 채널, 즉 제1 채널(172a), 제2 채널(172b), 제3 채널(172c)에 각각 입력되고, 호스트 단말(20)에 병렬로 송신된다. 송신된 데이터는, 호스트 단말(20)의 메인 메모리(58)에 개별 화상으로서 전개한다.
이상 기술한 본 실시형태에 의하면, 사용자 등의 움직임을 촬영하는 카메라와, 그것을 이용해서 화상표시를 실시하는 호스트 단말을 포함하는 시스템에 있어서, 촬영한 동화상을 카메라 내부에서 복수 해상도의 데이터로 한다. 그리고 화상의 종류 및 해상도마다 화소의 래스터 순서로 화소값을 연결한 스트림으로 한다. 그리고 호스트 단말의 요구에 따라 그 일부를 송신하고, 호스트 단말의 메모리에서 프레임 화상을 구축한다. 이렇게, 카메라 내부에서는 프레임 화상으로서 전개하지 않고 화소열의 상태로 순차적으로 처리를 실시해 감으로써, 카메라에 마련해야 할 메모리 사이즈를 최저한으로 억제할 수 있다. 또 촬영부터 호스트 단말로 송신할 때까지 동안, 1 프레임분의 데이터가 모두 나오는 것을 기다릴 필요가 없기 않기 때문에, 시스템 전체로서 저지연으로 움직임에 따른 화상 표시를 실시할 수 있다.
또 복수 해상도의 화상 데이터를 1열분의 화소값마다 연결해서 하나의 스트림에 포함시킨다. 이때, 해상도에 따라‘1열분의 화소값’이 생성되는 비율이 다르기 때문에, 낮은 비율로 데이터가 생성되는 저해상도의 화상은 데이터가 생성되지 않는 기간도 포함시켜서 균등하게 스트림에 포함되도록 배분한다. 이에 의해, 단위시간당 처리 및 송신해야 할 데이터 사이즈가 대략 균등해져서, 출력까지 필요한 시간, 사용하는 전송 대역, 송신에 필요한 시간의 추정이 용이해지는 데다, 돌발적인 데이터 사이즈의 증대에 의해 전송 대역을 압박할 가능성이 낮아진다.
이렇게 하여 생성한 스트림은, 후단의 처리에 있어서, 하나의 해상도의 화상 데이터만으로 이루어지는 스트림과 동등하게 취급할 수 있기 때문에, 실질적으로 복수 해상도의 화상으로 이루어지는 합성화상을 생성하고 있는 것이 된다. 그리고 상술과 같이 연결함으로써, 합성 대상의 화상이 각각, 합성화상 중의 직사각형 영역을 구성하게 되기 때문에, 합성화상 내의 영역을 지정함으로써 크로핑이라는 일반적인 화상처리에 의해 하나의 스트림에 혼재하는 복수 화상의 데이터를 용이하게 분별할 수 있다.
또한, 카메라에 호스트 단말로부터의 지정에 따른 스트림의 선택, 일부 데이터의 추출, 패킷화를 실시하는 기구를 복수 마련함으로써, 복수의 데이터를 병렬로 송신할 수 있어, 송신 시간을 짧게 할 수 있다. 또 각각의 기구가 하나의 스트림을 담당하고, 스트림마다 호스트 단말에 송신되기 때문에, 호스트 단말에서 데이터 분별의 처리를 생략할 수 있다.
실시형태 2
실시형태 1에서는 카메라(100)가 촬영한 영상으로부터 복수 해상도의 동화상 데이터를 생성하고, 호스트 단말(20)로부터의 요구에 따라, 그 중 필요한 데이터만을 실시간으로 호스트 단말(20)에 송출했다. 본 실시형태에서는 또한, 프레임 간의 움직임 차분 화상을 생성해서 호스트 단말(20)의 요구 대상으로 한다. 또한, 카메라(100)에서 어느 하나의 화상을 해석하고, 그 결과를 메타 데이터로서 호스트 단말(20)에 송신하는 화상 데이터에 부가한다.
본 실시형태는 도 1에 나타낸 저지연 카메라 시스템(10)과 동일한 시스템에 의해 실현할 수 있다. 또 호스트 단말(20)도 도 4에서 나타낸 구성과 동일하다. 이후, 주로 실시형태 1과 다른 점에 착안해서 설명하고, 중복되는 부분에 대해서는 그 설명을 적절히 생략한다.
도 10은 본 실시형태에 관한 카메라의 구성을 나타낸다. 카메라(100a)는 실시형태 1에서의 카메라(100)과 마찬가지로 화상 취득부(102), 디모자이크부(104), 피라미드 필터부(170), 화상 합성부(156), 화상 송출부(151a) 및 통신부(108)를 구비한다. 카메라(100a)는 차분 화상 생성부(174) 및 화상 해석부(176)를 더 가진다.
화상 취득부(102), 디모자이크부(104) 및 피라미드 필터부(170)는 실시형태 1에서의 대응하는 기능 블록과 동일하게 동작한다. 차분 화상 생성부(174)는 피라미드 필터부(170)가 출력하는 소정 해상도의 화상과, 이전에 출력된 동일 해상도의 다른 프레임의 화상의 차분 화상을 생성한다. 이를 위해 차분 화상 생성부(174)는 1 프레임분의 화상 데이터를 일시 보존하는 내부 메모리(미도시)를 구비한다.
그리고 새로 피라미드 필터부(170)로부터 출력되는 화소값과, 상기 내부 메모리에 보존한 이전의 프레임이 대응하는 화소의 화소값의 차분을 취하고, 그 결과를 차분 화상의 화소값으로서 화상 합성부(156)에 출력한다. 이 처리도 화소의 래스터 순서로 실시하기 때문에 출력되는 데이터는 다른 화상과 동일한 스트림이다.
움직임이 있는 영역을 대략 추정하는 경우 등, 호스트 단말(20)이 차분 화상을 이용하는 목적에 따라서는 차분 화상에 높은 해상도를 요구하지 않는 경우도 많다. 그래서 피라미드 필터부(170)가 생성하는 최저 해상도의 화상으로부터 차분 화상을 생성하고, 화상 합성부(156)에 의한 합성 대상으로 한다. 차분 화상을 합성화상의 일부로 하면, 이후는 화상 송출부(151a) 및 통신부(108)가 실시형태 1에서 기술한 것과 동일하게 동작함으로써, 상기 차분 화상의 데이터를 호스트 단말(20)로 송신할 수 있다.
화상 해석부(176)는 피라미드 필터부(170)가 출력하는 소정 해상도의 화상에 대해 소정의 화상 해석을 실시하고, 그 결과를 화상 송출부(151a)에 건네 준다. 또한, 동 도면에서는 차분 화상 생성부(174)와 화상 해석부(176)의 처리 대상을 동일한 해상도의 화상으로 하고 있지만, 본 실시형태를 그에 한정하는 취지가 아니며, 서로의 처리를 독립적으로 실시해도 된다.
화상 해석부(176)가 실시하는 화상 해석은 얼굴 검출 처리나 소정의 형상을 가지는 대상물의 트래킹 등이다. 따라서 화상 송출부(151a)에 건네 주는 해석 결과는 얼굴 영역이나 대상물 영역의 위치나 크기의 정보와, 검출/추적 정밀도를 나타내는 평가값 등이다. 어떠한 해석을 하는지 및 대상물의 형상정보 등의 해석 조건은, 실행하는 애플리케이션에 따라 애플리케이션 기동시 등에 호스트 단말(20)로부터 카메라(100)로 통지해 둔다.
화상 송출부(151a)의 패킷화부(162)(도 3에 도시)는 호스트 단말(20)에 송신하는 화상 데이터의 1 프레임분의 스트림 직후 혹은 1 프레임분의 스트림 중의 소정의 위치에 화상 해석부(176)에 의한 화상 해석의 결과를 메타 데이터로서 삽입한다. 그리고 화상 해석을 실시하지 않는 경우와 동일하게 소정의 사이즈로 패킷화한다.
이 경우 호스트 단말(20)은 카메라(100)로부터 송신된 데이터 중 화상 데이터 부분을 화상으로서 메인 메모리에 전개하고, 메타 데이터는 상기 화상의 가공이나 합성 등의 처리에 이용한다. 또 메타 데이터를 이용해서 이후의 프레임에 대해 카메라(100)로 요구할 데이터의 지정을 새로 실시해도 된다. 화상 데이터와 메타 데이터의 구별은 수신한 스트림을 모두 화상으로 한 경우의 화상 평면에 있어서 메타 데이터가 부가되어 있는 영역을 미리 정하거나, 메타 데이터 자체에 그것을 식별하는 정보를 부가하거나 함으로써 가능해진다.
또한, 본 실시형태에서는 카메라(100a)에 차분 화상 생성부(174)와 화상 해석부(176)의 쌍방을 마련했지만, 어느 한쪽만을 마련해도 된다. 또 메타 데이터로서 부가하는 정보는 화상 해석의 결과가 아니어도 되며, 예를 들면 원래의 RAW 화상을 취득했을 때의 타임 스탬프 등이어도 된다. 이 경우, 화상 취득부(102)가 프레임마다 생성한 타임 스탬프의 정보를 화상 송출부(151a)가 직접 취득하고, 상기와 마찬가지로 스트림에 삽입하면 된다.
이상 기술한 본 실시형태에 의하면, 실시형태 1의 구성에 더해, 카메라 내부에 차분 화상을 생성하는 기구를 마련한다. 차분 화상을 이용해서 움직임이 있는 영역을 검출하는 양태에서는, 저해상도 화상으로도 충분히 기능하는 경우가 많기 때문에, 예를 들면 최저 해상도의 화상을 대상으로 해서, 생성한 차분 화상을 합성화상에 포함시킨다. 이에 의해, 실시형태 1에서 기술한 효과에 더해, 차분 화상에 대해서도 크로핑 처리에 의해 용이하게 분별할 수 있다. 그 결과, 움직임이 있는 영역을 검출하고 싶은 경우라도, 호스트 단말에서 실시해야 할 처리를 최소한으로 할 수 있다.
또한, 카메라 내부에 얼굴 영역의 검출이나 소정 형상의 대상물을 트래킹 하는 기구를 마련하고, 그 결과를 메타 데이터로서 화상 데이터의 스트림에 프레임 단위로 삽입한다. 이에 의해, 얼굴 영역이나 대상물의 영역에 가공을 실시하거나 상기 영역의 상세한 정보를 얻고 싶은 경우 등에, 호스트 단말에서 실시해야 할 처리를 최소한으로 할 수 있다.
실시형태 3
본 실시형태에서는 도 1에 나타낸 저지연 카메라 시스템(10)의 카메라(100)를 좌우의 다른 시점에서 같은 대상물을 촬영하는 한 쌍의 카메라를 포함하는 스테레오 카메라로 구성한다. 그리고 상기 스테레오 카메라에서, 좌우에서 촬영한 2개의 동화상의 프레임을 이용해서 스테레오 매칭을 실시하고, 대상물의 깊이 방향의 위치를 나타내는 깊이 화상을 생성한다. 상기 깊이 화상은 다른 화상과 마찬가지로, 호스트 단말(20)로부터의 요구에 따라 수시 송신한다. 여기서 호스트 단말(20)은 실시형태 1과 동일한 구성이어도 된다. 이후, 주로 실시형태 1 및 2와 다른 점에 착안해서 설명하고, 중복되는 부분에 대해서는 그 설명을 생략한다.
도 11은 본 실시형태에 관한 카메라의 구성을 나타낸다. 스테레오 카메라(100b)는 제1 카메라(190a), 제2 카메라(190b), 스테레오 매칭 처리부(192), 화상 송출부(151b) 및 통신부(108)를 포함한다. 제1 카메라(190a) 및 제2 카메라(190b)는 각각, 실시형태 1에서 나타낸 카메라(100)나 실시형태 2에서 나타낸 카메라(100a)와 대략 같은 구성을 가지지만, 화상 송출부(151b) 및 통신부(108)에 대해서는 제1 카메라(190a), 제2 카메라(190b) 및 스테레오 매칭 처리부(192)에서 공유한다.
제1 카메라(190a)는 화상 취득부(102a), 디모자이크부(104a), 피라미드 필터부(170a), 화상 합성부(156a), 화상 해석부(176a)를 가진다. 마찬가지로 제2 카메라(190b)는 화상 취득부(102b), 디모자이크부(104b), 피라미드 필터부(170b), 화상 합성부(156b), 화상 해석부(176b)를 가진다. 화상 취득부(102a) 및 화상 취득부(102b)에 각각 마련되는 촬상 소자는 좌우의 다른 시점에서 같은 대상물을 촬상한다. 상기 촬상 소자의 하드웨어로서의 구성은, 일반적인 스테레오 카메라와 동일해도 된다.
또 제1 카메라(190a), 제2 카메라(190b)가 가지는 상기의 기능 블록은, 실시형태 1 및 2에서 설명한 대응하는 기능 블록과 동일하게 동작한다. 스테레오 매칭 처리부(192)는, 소정 해상도의 좌우 동화상 프레임의 한쪽을 제1 카메라(190a)의 디모자이크부(104a) 또는 피라미드 필터부(170a)로부터, 다른 한쪽을 제2 카메라(190b)의 디모자이크부(104b) 또는 피라미드 필터부(170b)로부터 소정의 비율로 취득한다.
그리고 동일한 타이밍에 취득한 좌우의 화상을 이용해서 스테레오 매칭을 실시하고, 깊이 화상을 생성한다. 깊이 화상은 대상물의 깊이 방향의 위치를 나타내는 값을 화상 평면상의 화소값으로 하는 화상이며, 대상물의 3차원 공간에서의 위치 정보를 나타낸다. 여기서 실시하는 스테레오 매칭 처리는, 지금까지 제안된 여러 수법 중 어느 것을 이용해도 된다. 예를 들면 좌우 화상의 한쪽에 상관창을 설정하고, 다른 쪽 화상의 탐색창을 움직이면서 상관창 화상과의 상호 상관계수를 산출함으로써 대응점을 취득한 뒤, 이들 대응점의 시차에 근거하여 삼각측량의 원리를 이용해서 3차원 위치 정보를 구하는 면적상관법 등을 이용할 수 있다.
어느 경우나, 입력된 좌우의 화상 데이터를 1렬씩 처리해서 깊이 화상의 화소값을 래스터 순서로 결정해 가서 순차적으로 화상 송출부(151b)로 출력한다. 화상 송출부(151b)는 상기 데이터와 함께 제1 카메라(190a) 및 제2 카메라(190b)로부터 좌우의 RAW 화상, 1/1 디모자이크 후 화상, 합성화상의 데이터를 취득한다.
또 제1 카메라(190a)의 화상 해석부(176a) 및 제2 카메라(190b)의 화상 해석부(176b)로부터 실시형태 2에서 설명한 것과 동일한 화상 해석의 결과를 수취한다. 그리고 실시형태 1에서 설명한 것과 마찬가지로 호스트 단말(20)로부터 요구된 데이터를 선택하고, 필요에 따라 요구된 영역만을 추출해서 패킷화한다. 이때 실시형태 2에서 설명한 바와 같이, 호스트 단말(20)의 요구에 따라서는 화상 해석부(176a, 176b)로부터 취득한 화상 해석의 결과를 메타 데이터로서 삽입한다.
통신부(108)가 실시하는 처리는 지금까지 설명한 것과 동일하다. 또한, 동 도면에서는 화상 송출부(151b)의 출력 및 통신부(108)의 입출력이 각각 하나의 화살표로 나타나 있지만, 도 9에 나타내는 바와 같이 복수의 채널을 마련하고, 복수의 데이터를 병렬로 송신하도록 해도 된다.
다음으로 지금까지 기술한 구성에 의해 실현할 수 있는 저지연 카메라 시스템(10)의 동작예를 나타낸다. 여기에서 나타내는 동작예는 주로 실시형태 3에서 설명한 스테레오 카메라(100b)를 포함하는 시스템에 의해 실현할 수 있지만, 실시형태 1이나 2에서 기술한 구성에 대해서도 적절히 조합하고 있다.
도 12는 호스트 단말(20)과 스테레오 카메라(100b)가 협동해서 화상처리를 실시하는 처리 순서의 예를 나타내는 플로차트와 생성되는 화상예를 나타내고 있다. 도 12∼14의 플로차트는, 사용자가 호스트 단말(20)에 애플리케이션의 기동 지시를 입력함으로써 개시된다. 또 이해를 쉽게 하기 위해 각 스텝은 직렬로 접속한 직사각형으로 나타나 있지만, 동화상을 촬영하고 있는 기간에 있어서, 각 화소열, 각 프레임에 대해 이들의 스텝이 반복되고, 또한 병렬로 실행되는 것으로 한다.
먼저 호스트 단말(20)은 애플리케이션 프로그램 등에 설정되어 있는 초기 조건 및 필요한 데이터를 지정해서 스테레오 카메라(100b)에 대해 촬영개시 지시 및 데이터 송신 요구를 실시한다(S10). 초기 조건이란 스테레오 카메라(100b)의 2개의 카메라가 촬영하는 동화상의 해상도나 프레임률, 스테레오 매칭 처리부(192)가 스테레오 매칭을 실시하는 화상의 해상도나 프레임률, 추적 대상의 형상정보 등이다. 또한, 카메라가 촬영하는 동화상의 해상도나 프레임률은 촬상 소자에 의한 노광 자체의 조건 설정을 변화시켜도 되고, 촬상 소자로부터의 데이터를 후단에서 솎아내는 등의 조정을 실시함으로써 변화시켜도 된다.
여기에서는 예를 들면 다음과 같이 지정한다.
제1 카메라: 해상도 1280×720, 프레임률 60fps
제2 카메라: 해상도 1280×720, 프레임률 60fps
스테레오 매칭: 해상도 1280×720, 프레임률 60fps
필요한 데이터의 지정이란, 상술과 같이 화상의 종류, 해상도, 화상 내의 영역을 지정하는 것 이외에 메타 데이터를 지정해도 된다. 여기에서는 예를 들면 다음과 같이 3개의 데이터를 지정한다.
데이터 1: (좌측 화상, YUV422: 16bit, 0, 0, 1280, 720)
데이터 2: (좌측 합성화상, YUV422: 16bit, 0, 0, 850, 367, 얼굴 영역, 대상물 영역, 타임 스탬프)
데이터 3: (깊이 화상, Z: 16bit, 0, 0, 1280, 720)
데이터 1은 스테레오 카메라(100b) 중 좌측 카메라가 촬영한 화상의 1/1 디모자이크 후 화상(YUV422: 16비트)에서의 좌측 상부의 좌표가 (0, 0), 가로방향 및 세로방향의 폭이 (1280, 720)인 영역이다. 이 영역은, 상기 초기 조건으로 지정된 해상도를 고려하면, 촬영된 화상의 전체 영역인 것을 알 수 있다.
데이터 2는 좌측 카메라가 촬영한 화상의 합성화상(YUV422: 16비트)에서의 좌측 상부의 좌표가 (0, 0), 가로방향 및 세로방향의 폭이 (850, 357)인 영역이다. 도 12∼14의 예에서의 합성화상은, 도 7에서 나타낸 1/4 디모자이크 후 화상, 1/16 디모자이크 후 화상, 1/64 디모자이크 후 화상에 1/256 디모자이크 후 화상의 프레임 간 차분을 실시한 결과로서 얻어지는 차분 화상을 더 포함하는 것으로 한다. 이 차분 화상은 (W/16)/8×H/2의 화상영역으로서 도 7의 합성화상의 우측 끝에 다른 것과 동일한 규칙으로 더해진다.
상기 데이터 2에서 지정되는 영역은, 이 합성화상의 전체 영역이다. 데이터 2에서는 또한, 얼굴 검출 처리를 실시한 결과 얻어지는 얼굴의 영역, 트래킹 처리를 실시한 결과 얻어지는 대상물의 영역, 합성화상의 원래의 화상을 촬영했을 때의 타임 스탬프를 메타 데이터로서 합성화상에 부가하도록 지정하고 있다. 데이터 3은 스테레오 매칭 처리부(192)가 생성하는 깊이 화상(깊이 방향의 16비트의 위치 정보를 화소로 한다)에서의 좌측 상부의 좌표가 (0, 0), 가로방향 및 세로방향의 폭이 (1280, 720)인 영역, 즉 전체 영역이다.
초기 조건의 지정 및 데이터 요구를 받아들인 스테레오 카메라(100b)의 제1 카메라(190a) 및 제2 카메라(190b)는, 상기 초기 조건으로 동화상의 촬영을 개시한다(S12). 제1 카메라(190a), 제2 카메라(190b), 스테레오 매칭 처리부(192)가 촬영된 화상 프레임을 이용해서 상기대로 처리를 실시함으로써, 좌측의 RAW 화상 및 1/1 디모자이크 후 화상(230), 좌측의 합성화상(232), 깊이 화상(234), 우측의 RAW 화상 및 1/1 디모자이크 후 화상(236), 좌측의 합성화상(238)의 데이터가 생성된다(S14).
또한, 동 도면에서는 각 화상의 전체 영역을 나타내고 있는데, 실제의 화상 데이터는 화소값의 스트림의 상태로 순차적으로 화상 송출부(151b)에 입력된다. 도 13, 도 14도 동일하다. 이어 화상 송출부(151b)는 S10에서 지정된 데이터만을 선택, 추출해서 스트림으로 해서 패킷화함으로써 송신 데이터를 생성하고, 송신한다(S16).
데이터를 수신한 호스트 단말(20)은 메인 메모리(58)에 화상을 전개한다. 그 결과, 메인 메모리(58)에는 1/1 디모자이크 후 화상의 전체 영역(240), 1/4 디모자이크 후 화상의 전체 영역(242), 1/16 디모자이크 후 화상의 전체 영역(244), 1/64 디모자이크 후 화상의 전체 영역(246), 1/256 디모자이크 후 화상의 차분 화상(248), 얼굴 영역, 대상물 영역, 타임 스탬프를 포함하는 메타 데이터(250), 깊이 화상(252)이 저장된다.
호스트 단말(20)의 CPU(50) 및 GPU(52)는, 이들의 데이터를 이용해서 표시해야 할 화상을 생성하고, 디스플레이(4)에 표시한다(S18, S20). 예를 들면, 움직임 차분 화상(248)으로부터 움직임이 있는 영역을 검출하고, 그 부분에서의 대상물의 깊이 정보를 깊이 화상(252)으로부터 취득한다. 이것을 복수 프레임분 계속함으로써 피사체인 사용자의 몸짓을 인식한다. 그리고 1/1 디모자이크 후 화상의 전체 영역(240) 중 얼굴 영역 등에 몸짓에 따른 소정의 가공을 실시한 화상을 표시한다.
이 실시예에서 스테레오 카메라(100b)로부터 호스트 단말(20)로 송신되는 단위 시간당 데이터 사이즈는,
데이터 1: 1280×720화소×60fps×16bit=885Mbps
데이터 2: 850×370화소×60fps×16bit=300Mbps
데이터 3: 1280×720화소×60fps×16bit=885Mbps
이므로, 합계 2.1Gbps가 된다.
도 13은 호스트 단말(20)과 스테레오 카메라(100b)가 협동해서 화상처리를 실시하는 처리 순서의 다른 예를 나타내는 플로차트와 생성되는 화상예를 나타내고 있다. 먼저 도 12와 마찬가지로, 호스트 단말(20)은 초기 조건 및 필요한 데이터를 지정해서 스테레오 카메라(100b)에 대해 촬영개시 지시 및 데이터 송신 요구를 실시한다(S22).
이 예에서의 초기 조건은 도 12의 예와 같은 것으로 한다. 필요한 데이터로서, 다음과 같이 하나의 데이터를 지정한다.
데이터 1: (좌측 합성화상, YUV422: 16bit, 0, 0, 850, 367, 얼굴 영역, 대상물 영역, 타임 스탬프)
이 데이터는 도 12의 예인 데이터 2와 같다.
초기 조건의 지정 및 데이터 요구를 받아들인 스테레오 카메라(100b)의 제1 카메라(190a) 및 제2 카메라(190b)는 상기 초기 조건으로 동화상의 촬영을 개시하고(S24), 제1 카메라(190a), 제2 카메라(190b), 스테레오 매칭 처리부(192)가 각각 화상 데이터를 생성한다(S26). 이때의 화상 데이터는 도 12의 S14에서 생성되는 화상 데이터와 같다.
이어 화상 송출부(151b)는 S22에서 지정된 데이터만을 선택, 추출해서 스트림으로 해서 패킷화함으로써 송신 데이터를 생성하고, 송신한다(S28). 데이터를 수신한 호스트 단말(20)은 메인 메모리(58)에 화상을 전개한다. 그 결과, 메인 메모리(58)에는 1/4 디모자이크 후 화상의 전체 영역(242), 1/16 디모자이크 후 화상의 전체 영역(244), 1/64 디모자이크 후 화상의 전체 영역(246), 1/256 디모자이크 후 화상의 차분 화상(248), 얼굴 영역, 대상물 영역, 타임 스탬프를 포함하는 메타 데이터(250)가 저장된다.
호스트 단말(20)의 CPU(50)는 차분 화상(248)으로부터 특정한 움직임이 있는 영역이나, 메타 데이터(250)에 포함되는 얼굴 영역 또는 대상물 영역을 포함하는 소정 범위의 영역을 주목 영역으로서 결정한다(S30). 그리고 상기 주목 영역을 지정해서 새로 데이터 요구를 실시한다(S32). 여기에서는 예를 들면 다음과 같이 2개의 데이터를 지정한다.
데이터 2: (좌측 화상, RAW: 16bit, Fx, Fy, Fw, Fh)
데이터 3: (깊이 화상, Z: 8bit, Hx, Hy, Hw, Hh)
데이터 2는 스테레오 카메라(100b) 중 좌측 카메라가 촬영한 RAW 화상(16비트) 중, 얼굴의 영역을 포함하는 주목 영역으로서 결정한, 좌측 상부의 좌표가 (Fx, Fy), 가로방향 및 세로방향의 폭이 (Fw, Fh)인 영역이다. 데이터 3은 스테레오 매칭 처리부(192)가 생성하는 깊이 화상(깊이 방향의 8비트의 위치 정보를 화소로 한다)에서의 대상물의 영역을 포함하는 주목 영역으로서 결정한, 좌측 상부의 좌표가 (Hx, Hy), 가로방향 및 세로방향의 폭이 (Hw, Hh)인 영역이다.
스테레오 카메라(100b)의 화상 송출부(151b)는 각 화상이 새로운 프레임이 입력된 타이밍에, RAW 화상 및 깊이 화상 중 지정된 영역의 데이터를 추출하여, 스트림으로 해서 패킷화함으로써 송신 데이터를 생성하고, 송신한다(S34). 데이터를 수신한 호스트 단말(20)은 메인 메모리(58)에 화상을 전개한다. 그 결과, 메인 메모리(58)에는 얼굴을 포함하는 영역의 RAW 화상(254) 및 대상물을 포함하는 영역의 깊이 화상(256)이 저장된다.
호스트 단말(20)의 CPU(50) 및 GPU(52)는 이들의 데이터를 이용해서 표시해야 할 화상을 생성하고, 디스플레이(4)에 표시한다(S36, S38). 예를 들면, 1/4 디모자이크 후 화상(242)을 배경으로 해서 얼굴을 포함하는 영역의 RAW 화상(254)을 합성함으로써, 데이터 사이즈를 억제하면서 표정의 변화 등을 나타내는 얼굴 영역만 선명한 화상을 표시한다. 또한 대상물의 깊이 정보를 깊이 화상(256)으로부터 취득해서 사용자의 몸짓을 인식하고, 그에 따른 소정의 가공을 실시해도 된다.
S30∼S38의 처리를 반복함으로써, 얼굴이나 대상물이 이동해도 그들에 관한 필요한 데이터를 낭비 없이 정상적으로 취득해서 화상표시에 반영시킬 수 있다. 결과적으로, 스테레오 카메라(100b)로부터 호스트 단말(20)로 송신해야 할 데이터의 사이즈를 억제할 수 있다.
상기의 데이터 지정에서, (Fw, Fh)=(400, 600), (Hw, Hh)=(320, 450)이라고 가정하면, 이 실시예에서 스테레오 카메라(100b)로부터 호스트 단말(20)로 송신되는 단위 시간당 데이터 사이즈는,
데이터 1: 850×370화소×60fps×16bit=300Mbps
데이터 2: 400×600화소×60fps×16bit=230Mbps
데이터 3: 320×450화소×60fps×8bit=70Mbps
가 되어, 합계 600Mbps가 된다.
도 14는 호스트 단말(20)과 스테레오 카메라(100b)가 협동해서 화상처리를 실시하는 처리 순서의 다른 예를 나타내는 플로차트와 생성되는 화상예를 나타내고 있다. 먼저 도 12와 마찬가지로, 호스트 단말(20)은 초기 조건 및 필요한 데이터를 지정해서 스테레오 카메라(100b)에 대해 촬영개시 지시 및 데이터 송신 요구를 실시한다(S40).
이 예에서의 초기 조건은 다음과 같이 지정한다.
제1 카메라: 해상도 1280×720, 프레임률 30fps
제2 카메라: 해상도 1280×720, 프레임률 15fps
스테레오 매칭: 해상도 320×180, 프레임률 15fps
필요한 데이터는 다음과 같이 지정한다.
데이터 1: (좌측 합성화상, Y(움직임 차분): 8bit, 840, 8, 10, 360, 타임 스탬프)
데이터 2: (좌측 합성화상, YUV422: 16bit, 800, 4, 40, 360, 얼굴 영역, 타임 스탬프)
데이터 3: (깊이 화상, Z: 8bit, 20, 15, 280, 150, 타임 스탬프)
데이터 1은 좌측 카메라가 촬영한 화상의 합성화상 중, Y 화상에서의 차분 화상의 영역, 즉 좌측 상부의 좌표가 (840, 8), 가로방향 및 세로방향의 폭이 (10, 360)인 영역이다. 또한 데이터 1에는 원래의 화상을 촬영했을 때의 타임 스탬프를 메타 데이터로서 부가하도록 지정하고 있다.
데이터 2는 좌측 카메라가 촬영한 화상의 합성화상(YUV422: 16비트)에서의 좌측 상부의 좌표가 (800, 4), 가로방향 및 세로방향의 폭이 (40, 360)인 영역, 즉 1/64 디모자이크 후 화상의 영역이다. 또한 데이터 2에는 얼굴 검출 처리를 실시한 결과 얻어지는 얼굴의 영역, 원래의 화상을 촬영했을 때의 타임 스탬프를 메타 데이터로서 부가하도록 지정하고 있다. 데이터 1이나 데이터 2에서 지정되는 합성화상에 포함되는 각 화상의 영역정보는 도 7에서 나타낸 배치의 규칙을 따라 특정할 수 있다.
데이터 3은 스테레오 매칭 처리부(192)가 생성하는 깊이 화상(깊이 방향의 8비트의 위치 정보를 화소로 한다)에서의 좌측 상부의 좌표가 (20, 15), 가로방향 및 세로방향의 폭이 (280, 150)인 영역이다. 이 영역은 깊이 화상의 상단 하단을 각각 15화소분, 좌단 우단을 각각 20화소분 잘라 놓은 것이며, 깊이의 정보로서 의미를 가지는 영역이라고도 생각할 수 있다. 이렇게 해도 데이터 사이즈를 억제할 수 있다. 또한 데이터 3에는 원래의 화상을 촬영했을 때의 타임 스탬프를 메타 데이터로서 부가하도록 지정하고 있다.
초기 조건의 지정 및 데이터 요구를 받아들인 스테레오 카메라(100b)의 제1 카메라(190a) 및 제2 카메라(190b)는, 상기 초기 조건으로 동화상의 촬영을 개시하고(S42), 제1 카메라(190a), 제2 카메라(190b), 스테레오 매칭 처리부(192)가 각각 화상 데이터를 생성한다(S44). 이때의 화상은 화상의 사이즈, 색 공간 및 프레임률등의 면에서, 도 12 및 도 13의 예와 비교해서 간이적이다.
이어 화상 송출부(151b)는 S40에서 지정된 데이터만을 선택, 추출하여 스트림으로 해서 패킷화함으로써 송신 데이터를 생성하고, 송신한다(S46). 데이터를 수신한 호스트 단말(20)은 메인 메모리(58)에 화상을 전개한다. 그 결과, 메인 메모리(58)에는 1/256 디모자이크 후 화상의 차분 화상(260), 그 원래의 화상의 타임 스탬프(262), 1/64 디모자이크 후 화상의 전체 영역(260), 얼굴의 영역, 타임 스탬프를 포함하는 메타 데이터(266), 주위를 잘라 놓은 깊이 화상(268) 및 그 원래의 화상의 타임 스탬프(270)가 저장된다.
호스트 단말(20)의 CPU(50) 및 GPU(52)는 이들의 데이터를 이용해서 표시해야 할 화상을 생성하고, 디스플레이(4)에 표시한다(S48, S50). 예를 들면, 차분 화상(260)으로부터 움직임이 있는 영역을 검출하고, 그 부분에서의 대상물의 깊이 정보를 깊이 화상(268)으로부터 취득한다. 이에 의해 피사체인 사용자의 몸짓을 인식하고, 1/64 디모자이크 후 화상의 전체 영역(260) 중, 메타 데이터(266)로부터 얻어지는 얼굴 영역 등에 몸짓에 따른 소정의 가공을 실시한 화상을 표시한다.
이 예에서는 프레임률을 낮게 하거나 해상도가 낮은 화상만을 송신하도록 하여, 영역 전체를 송신 대상, 처리 대상으로 하면서도 전송 대역을 포함하는 리소스의 소비량을 억제하고 있다. 영역 전체를 송신하기 때문에, 도 13의 예에서 나타낸 적응적인 영역 지정의 스텝을 생략할 수 있다. 또 이렇게, 송신하는 3개의 데이터의 1 프레임당 데이터 사이즈가 달라서, 1 프레임분의 데이터가 호스트 단말(20)에 도착하는 타이밍이 데이터에 따라 어긋나 있어도, 원래 화상의 촬영시의 타임 스탬프를 프레임마다 부가함으로써, 데이터의 대응 관계를 용이하게 특정할 수 있다.
이 실시예에서 스테레오 카메라(100b)로부터 호스트 단말(20)로 송신되는 단위 시간당 데이터 사이즈는,
데이터 1: 10×360화소×30fps×8bit=864Kbps
데이터 2: 160×90화소×15fps×16bit=3.5Mbps
데이터 3: 280×150화소×15fps×8bit=5Mbps
이 되어, 합계 9.5Mbps가 된다.
이상 기술한 본 실시형태에 의하면, 실시형태 1 및 2의 특징을 스테레오 카메라에 적용한다. 그리고 상기 스테레오 카메라에 스테레오 매칭을 실시하는 기구를 마련한다. 이 경우, 각 카메라가 생성하는 RAW 화상, 1/1 디모자이크 후 화상, 합성화상 및 스테레오 매칭의 결과 얻어지는 깊이 화상, 얼굴 검출의 결과 얻어진 얼굴 영역의 정보, 트래킹 처리의 결과 얻어진 대상물 영역의 정보라는 다양한 데이터 중에서, 호스트 단말이 지정하는 데이터를 저지연으로 송신할 수 있다. 그 때문에 호스트 단말의 처리의 부하가 경감되고, 카메라로부터의 데이터 송신의 효율화와의 상승 효과로, 피사체의 움직임에 저지연으로 뒤따르는 화상 표시가 가능해진다.
이상, 본 발명을 실시형태를 토대로 설명했다. 상기 실시형태는 예시이며, 그들의 각 구성 요소나 각 처리 프로세스의 조합에 여러 변형예가 가능한 것, 또한 그러한 변형예도 본 발명의 범위에 있는 것은 당업자에게 이해되는 바이다.
이상과 같이 본 발명은 컴퓨터, 카메라, 게임장치, 화상표시장치 등의 정보처리장치에 이용 가능하다.
4…디스플레이 10…저지연 카메라 시스템
20…호스트 단말 50…CPU
52…GPU 58…메인 메모리
60…통신부 64…데이터 요구부
66…데이터 처리부 68…데이터 전개부
100…카메라 104…디모자이크부
108…통신부 149…FIFO 버퍼
150…FIFO 버퍼 151…화상 송출부
156…화상 합성부 154…데이터 선택부
162…패킷화부 164…제어부
166…스트림 선택부 168…크로핑부
170…피라미드 필터부 172a…제1 채널
172b…제2 채널 172c…제3 채널
174…차분 화상 생성부 176…화상 해석부
190a…제1 카메라 190b…제2 카메라
192…스테레오 매칭 처리부

Claims (14)

  1. 대상물을 촬영해서 얻어지는 동화상의 각 프레임을 해상도를 달리하여 복수회 축소함으로써 해상도가 서로 다른 복수 화상의 데이터를 각각 소정의 화소 순으로 생성하고, 스트림으로서 순차적으로 출력하는 화상 데이터 생성부와,
    상기 화상 데이터 생성부에서 출력된 상기 복수 화상의 데이터 중 소정의 복수 화상의 데이터를 화상의 1열분의 화소열 또는 화상의 1열분보다 작은 범위의 화소열마다 접속해서 스트림으로서 출력함으로써, 상기 소정의 복수 화상을 포함하는 가상적인 합성화상을 생성하는 화상 합성부와,
    접속한 호스트 단말로부터 데이터의 송신 요구를 받아들이고, 상기 화상 데이터 생성부 및 상기 화상 합성부에서 출력된 복수의 스트림으로부터, 요구된 화상 및 영역에 포함되는 화소의 데이터를 추출해 감으로써 송신해야 할 데이터의 스트림을 생성하고, 상기 호스트 단말에 송신하는 화상 송출부를 구비하는 것을 특징으로 하는 동화상 촬영장치.
  2. 제1항에 있어서,
    상기 화상 합성부는, 합성 대상 화상 중 최고 해상도의 화상의 화소 1열분의 데이터가 생성되는 기간을 기준 주기로 해서 상기 합성화상의 화소 1열분으로 해야 할 데이터를 출력하고, 상기 기준 주기보다 긴 주기로 1열분의 데이터가 생성되는 최고 해상도 이외의 해상도를 갖는 화상은, 상기 기준 주기 동안 균등한 간격으로 화상의 화소가 출력되도록, 접속하는 화소열의 범위를 조정하는 것을 특징으로 하는 동화상 촬영장치.
  3. 제1항 또는 제2항에 있어서,
    상기 화상 송출부는, 상기 호스트 단말로부터 데이터의 송신이 요구된 화상 내의 직사각형 영역을 스트림을 구성하는 화소열 단위로 잘라내는 크로핑부를 구비하고,
    상기 화상 합성부는, 합성 대상의 각 화상이 상기 합성화상에서의 직사각형 영역을 구성하도록 각 화상의 데이터를 접속하고,
    상기 크로핑부는, 상기 호스트 단말로부터의 요구에 따라 상기 합성화상으로부터 합성 대상 화상 중 어느 하나를 화소열 단위로 잘라내고, 상기 호스트 단말에 송신하는 것을 특징으로 하는 동화상 촬영장치.
  4. 제1항 또는 제2항에 있어서,
    상기 다른 해상도의 복수 화상 중, 소정 해상도의 화상을 프레임 간 차분함으로써 상기 소정 해상도의 차분 화상을 생성하는 차분 화상 생성부를 더 구비하고,
    상기 화상 합성부는, 상기 차분 화상도 합성 대상에 포함시키는 것을 특징으로 하는 동화상 촬영장치.
  5. 제1항 또는 제2항에 있어서,
    상기 화상 송출부는, 화상 데이터 생성부 및 상기 화상 합성부로부터 출력된 복수의 스트림을 병렬로 읽어내고, 상기 복수의 스트림 중 상기 호스트 단말로부터의 요구에 따라 선택한 스트림의 적어도 일부로, 송신해야 할 스트림을 생성하는 것을 특징으로 하는 동화상 촬영장치.
  6. 제1항 또는 제2항에 있어서,
    상기 화상 송출부는, 호스트 단말로 데이터를 송신하기 위한 복수의 출력 채널을 구비하고, 상기 호스트 단말로부터 복수 영역의 데이터가 요구된 경우에, 상기 복수 영역의 데이터마다 생성한 스트림을 상기 복수의 출력 채널로부터 병렬로 송신하는 것을 특징으로 하는 동화상 촬영장치.
  7. 제1항 또는 제2항에 있어서,
    상기 복수의 화상 중 어느 하나에 얼굴 검출 처리를 실시하여, 대상물인 사람의 얼굴 영역을 특정하는 얼굴 검출부를 더 구비하고,
    상기 화상 송출부는, 상기 호스트 단말로부터의 요구에 따라, 생성한 화상 데이터의 스트림의 소정 위치에 상기 얼굴 검출부가 특정한 얼굴 영역에 관한 데이터를 메타 데이터로서 삽입한 후, 상기 호스트 단말에 송신하는 것을 특징으로 하는 동화상 촬영장치.
  8. 제1항 또는 제2항에 있어서,
    추적 대상 대상물의 형상정보를 상기 호스트 단말로부터 취득하고, 상기 형상정보에 근거하여 상기 대상물의 추적 처리를 실시하는 트래킹부를 더 구비하고,
    상기 화상 송출부는, 상기 호스트 단말로부터의 요구에 따라, 생성한 화상 데이터의 스트림의 소정 위치에 상기 트래킹부가 특정한 대상물의 위치에 관한 데이터를 메타 데이터로서 삽입한 후, 상기 호스트 단말에 송신하는 것을 특징으로 하는 동화상 촬영장치.
  9. 좌우 다른 시점에서 같은 대상물을 촬영하는 한 쌍의 카메라를 구비한 동화상 촬영장치로서,
    상기 한 쌍의 카메라는 각각,
    상기 대상물을 촬영해서 얻어지는 동화상의 각 프레임을 해상도를 달리하여 복수회 축소함으로써 해상도가 서로 다른 복수 화상의 데이터를 각각 소정의 화소 순으로 생성하고, 스트림으로서 순차적으로 출력하는 화상 데이터 생성부와,
    상기 화상 데이터 생성부에서 출력된 상기 복수 화상의 데이터 중 소정의 복수 화상의 데이터를 화상의 1열분의 화소열 또는 화상의 1열분보다 작은 범위의 화소열마다 접속해서 스트림으로서 출력함으로써, 상기 소정의 복수 화상을 포함하는 가상적인 합성화상을 생성하는 화상 합성부를 구비하고,
    상기 동화상 촬영장치는 또한,
    상기 한 쌍의 카메라가 생성한 시점이 다른 화상의 데이터 중, 소정 해상도 화상의 데이터에 대해 스테레오 매칭을 실시함으로써, 상기 대상물의 3차원 공간에서의 위치를 나타내는 깊이 화상을 소정의 화소 순으로 생성하고, 스트림으로서 순차적으로 출력하는 스테레오 매칭 처리부와,
    접속한 호스트 단말로부터 데이터의 송신 요구를 받아들이고, 상기 화상 데이터 생성부, 상기 화상 합성부 및 상기 스테레오 매칭 처리부에서 출력된 복수의 스트림으로부터, 요구된 화상 및 영역에 포함되는 화소의 데이터를 추출해 감으로써 송신해야 할 데이터의 스트림을 생성하고, 상기 호스트 단말에 송신하는 화상 송출부를 구비하는 것을 특징으로 하는 동화상 촬영장치.
  10. 대상물을 촬영해서 동화상 데이터를 생성하는 동화상 촬영장치와, 상기 동화상 촬영장치로부터 동화상 데이터의 일부를 취득하고, 상기 동화상 데이터의 일부를 이용해서 소정의 화상처리를 실시한 뒤 화상을 표시하는 호스트 단말을 구비한 정보처리 시스템으로서,
    상기 동화상 촬영장치는,
    촬영해서 얻어진 동화상의 각 프레임을 해상도를 달리하여 복수회 축소함으로써 해상도가 서로 다른 복수 화상의 데이터를 각각 소정의 화소 순으로 생성하고, 스트림으로서 순차적으로 출력하는 화상 데이터 생성부와,
    상기 화상 데이터 생성부에서 출력된 상기 복수 화상의 데이터 중 소정의 복수 화상의 데이터를 화상의 1열분의 화소열 또는 화상의 1열분보다 작은 범위의 화소열마다 접속해서 스트림으로서 출력함으로써, 상기 소정의 복수 화상을 포함하는 가상적인 합성화상을 생성하는 화상 합성부와,
    상기 화상 데이터 생성부 및 상기 화상 합성부에서 출력된 복수의 스트림으로부터, 상기 호스트 단말로부터 요구된 화상 및 영역에 포함되는 화소의 데이터를 추출해 감으로써 송신해야 할 데이터의 스트림을 생성한 후, 상기 호스트 단말에 송신하는 화상 송출부를 구비하는 것을 특징으로 하는 정보처리 시스템.
  11. 대상물을 촬영하고 있는 카메라에 대해 해상도 및 화상 내의 영역을 지정해서 동화상 프레임의 화상 데이터의 송신을 요구하는 데이터 요구부와,
    상기 데이터 요구부의 요구에 따라 상기 카메라로부터 송신된, 지정한 영역의 화소값을 화소열마다 접속한 스트림 상태의 화상 데이터를 메인 메모리에서 2차원의 화상 데이터로서 전개하는 데이터 전개부와,
    상기 2차원의 화상 데이터를 이용해서 소정의 화상처리를 실시한 뒤 화상을 표시하는 데이터 처리부를 구비하고,
    상기 데이터 요구부는, 상기 카메라 내에서 생성되는 동화상의 프레임을 해상도를 달리하여 복수회 축소함으로써 얻어지는 해상도가 서로 다른 복수 화상을 각각 소정의 직사각형 영역으로 배치한 합성화상을 지정하고,
    상기 데이터 전개부는, 상기 카메라로부터 송신된 상기 합성화상을 합성 대상의 화상마다 개별의 2차원 화상 데이터로 전개함으로써 화상을 분별하는 것을 특징으로 하는 정보처리장치.
  12. 동화상 촬영장치가 실시하는 화상 데이터 처리방법으로서,
    대상물을 촬영해서 얻어지는 동화상의 각 프레임을 해상도를 달리하여 복수회 축소함으로써 해상도가 서로 다른 복수 화상의 데이터를 각각 소정의 화소 순으로 생성하고, 스트림으로서 순차적으로 출력하는 스텝과,
    상기 출력하는 스텝에서 출력된 상기 복수 화상의 데이터 중 소정의 복수 화상의 데이터를 화상의 1열분의 화소열 또는 화상의 1열분보다 작은 범위의 화소열마다 접속해서 스트림으로서 출력함으로써, 상기 소정의 복수 화상을 포함하는 가상적인 합성화상을 생성하는 스텝과,
    접속한 호스트 단말로부터 데이터의 송신 요구를 받아들이고, 상기 출력하는 스텝 및 생성하는 스텝에서 출력된 복수의 스트림으로부터, 요구된 화상 및 영역에 포함되는 화소의 데이터를 추출해 감으로써 송신해야 할 데이터의 스트림을 생성하고, 상기 호스트 단말에 송신하는 스텝을 포함하는 것을 특징으로 하는 화상 데이터 처리방법.
  13. 촬상 소자가 대상물을 촬영해서 얻어지는 동화상의 각 프레임을 해상도를 달리하여 복수회 축소함으로써 해상도가 서로 다른 복수 화상의 데이터를 각각 소정의 화소 순으로 생성하고, 스트림으로서 순차적으로 출력하는 기능과,
    상기 출력하는 기능에 있어서 출력된 상기 복수 화상의 데이터 중 소정의 복수 화상의 데이터를 화상의 1열분의 화소열 또는 화상의 1열분보다 작은 범위의 화소열마다 접속해서 스트림으로서 출력함으로써, 상기 소정의 복수 화상을 포함하는 가상적인 합성화상을 생성하는 기능과,
    접속한 호스트 단말로부터 데이터의 송신 요구를 받아들이고, 상기 출력하는 기능 및 생성하는 기능에 의해 출력된 복수의 스트림으로부터, 요구된 화상 및 영역에 포함되는 화소의 데이터를 추출해 감으로써 송신해야 할 데이터의 스트림을 생성하고, 상기 호스트 단말에 송신하는 기능을 컴퓨터에 실현시키는 컴퓨터 프로그램을 기록한 기록매체.
  14. 삭제
KR1020137029578A 2011-05-19 2012-04-05 동화상 촬영장치, 정보처리 시스템, 정보처리장치 및 화상 데이터 처리방법 KR101451734B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011112931A JP5629642B2 (ja) 2011-05-19 2011-05-19 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法
JPJP-P-2011-112931 2011-05-19
PCT/JP2012/002397 WO2012157178A1 (ja) 2011-05-19 2012-04-05 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法

Publications (2)

Publication Number Publication Date
KR20130140174A KR20130140174A (ko) 2013-12-23
KR101451734B1 true KR101451734B1 (ko) 2014-10-16

Family

ID=47176533

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137029578A KR101451734B1 (ko) 2011-05-19 2012-04-05 동화상 촬영장치, 정보처리 시스템, 정보처리장치 및 화상 데이터 처리방법

Country Status (10)

Country Link
US (1) US9247132B2 (ko)
EP (1) EP2712177B1 (ko)
JP (1) JP5629642B2 (ko)
KR (1) KR101451734B1 (ko)
CN (1) CN103518368B (ko)
BR (1) BR112013029656B1 (ko)
MX (1) MX2013013313A (ko)
RU (1) RU2570195C2 (ko)
TW (1) TWI496471B (ko)
WO (1) WO2012157178A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5701707B2 (ja) * 2011-07-25 2015-04-15 株式会社ソニー・コンピュータエンタテインメント 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法
KR20130024504A (ko) * 2011-08-31 2013-03-08 삼성전기주식회사 삼차원 카메라 시스템 및 주시각 조정 방법
WO2014014238A1 (en) * 2012-07-17 2014-01-23 Samsung Electronics Co., Ltd. System and method for providing image
JP6121787B2 (ja) * 2013-04-26 2017-04-26 株式会社ソニー・インタラクティブエンタテインメント 撮像装置、情報処理システム、および画像データ処理方法
US9232177B2 (en) * 2013-07-12 2016-01-05 Intel Corporation Video chat data processing
JP2015195562A (ja) * 2014-03-20 2015-11-05 村上 幹次 送信信号処理装置及び方法、受信信号処理装置
JP6390245B2 (ja) * 2014-07-31 2018-09-19 カシオ計算機株式会社 画像格納装置、画像管理方法及びプログラム
US9706114B2 (en) * 2014-09-12 2017-07-11 Sony Corporation Image pickup apparatus, information processing apparatus, display apparatus, information processing system, image data sending method, image displaying method, and computer program
JP6218787B2 (ja) * 2015-09-29 2017-10-25 株式会社ソニー・インタラクティブエンタテインメント 撮像装置、情報処理装置、表示装置、情報処理システム、画像データ送出方法、および画像表示方法
US11144553B2 (en) 2015-11-30 2021-10-12 International Business Machines Corporation Streaming programmable point mapper and compute hardware
JP2017158123A (ja) * 2016-03-04 2017-09-07 ソニー株式会社 信号処理装置および撮像装置
JP6662745B2 (ja) * 2016-10-04 2020-03-11 株式会社ソニー・インタラクティブエンタテインメント 撮影装置、情報処理システム、および偏光画像処理方法
RU2647664C1 (ru) * 2017-03-31 2018-03-16 Общество С Ограниченной Ответственностью "Заботливый Город" Способ обработки видеосигнала
CN109002185B (zh) * 2018-06-21 2022-11-08 北京百度网讯科技有限公司 一种三维动画处理的方法、装置、设备及存储介质
US10491760B1 (en) * 2018-07-05 2019-11-26 Delta Electronics, Inc. Image transmission device, image transmission method, and image transmission system
KR102147125B1 (ko) * 2019-04-05 2020-08-24 (주)루먼텍 Ip워크플로우 기반 비디오 송수신 방법 및 그 시스템
WO2020261813A1 (ja) * 2019-06-28 2020-12-30 ソニーセミコンダクタソリューションズ株式会社 送信装置、受信装置及び伝送システム
KR102067191B1 (ko) * 2019-06-28 2020-02-11 배경 상세영상 생성장치
JP7351140B2 (ja) * 2019-08-26 2023-09-27 富士通株式会社 配信装置、配信システムおよび配信プログラム
JP7308694B2 (ja) * 2019-08-27 2023-07-14 キヤノン株式会社 放射線撮像装置の制御装置及び制御方法並びに放射線撮像システム
KR20220093312A (ko) * 2019-09-22 2022-07-05 바야비전 센싱 리미티드 인지 시스템을 훈련 및 검증하기 위한 방법 및 시스템
KR102312933B1 (ko) * 2020-07-31 2021-10-14 한화시스템 주식회사 360도 파노라마 영상 획득용 상황 감시장치 및 상황 감시방법
CN112419361B (zh) * 2020-11-20 2024-04-05 中国科学院上海微系统与信息技术研究所 一种目标追踪方法和仿生视觉装置
RU2768797C1 (ru) * 2021-10-19 2022-03-24 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Способ и система для определения синтетически измененных изображений лиц на видео

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0690444A (ja) * 1992-09-07 1994-03-29 Nippon Telegr & Teleph Corp <Ntt> 人物像伝送方式
JP2004195243A (ja) 1998-05-19 2004-07-15 Sony Computer Entertainment Inc 画像処理装置および方法、並びに提供媒体
JP2009146197A (ja) 2007-12-14 2009-07-02 Hitachi Ltd 画像信号処理装置、画像信号処理方法、画像信号処理プログラムおよび表示装置
JP2011097521A (ja) 2009-11-02 2011-05-12 Sony Computer Entertainment Inc 動画像処理プログラム、装置および方法、動画像処理装置を搭載した撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4709394A (en) * 1985-08-23 1987-11-24 Rca Corporation Multiplexed real-time pyramid signal processing system
US4849810A (en) * 1987-06-02 1989-07-18 Picturetel Corporation Hierarchial encoding method and apparatus for efficiently communicating image sequences
WO1997009818A1 (en) * 1995-08-21 1997-03-13 Starcam Systems, Inc. High-speed high-resolution multi-frame real-time digital camera
US6879341B1 (en) * 1997-07-15 2005-04-12 Silverbrook Research Pty Ltd Digital camera system containing a VLIW vector processor
US20030123738A1 (en) * 2001-11-30 2003-07-03 Per Frojdh Global motion compensation for video pictures
JP2005176233A (ja) * 2003-12-15 2005-06-30 Canon Inc 通信装置及び通信システム
US8456515B2 (en) * 2006-07-25 2013-06-04 Qualcomm Incorporated Stereo image and video directional mapping of offset
GB2456802A (en) * 2008-01-24 2009-07-29 Areograph Ltd Image capture and motion picture generation using both motion camera and scene scanning imaging systems
JP5474417B2 (ja) * 2009-06-19 2014-04-16 株式会社エルモ社 動画データ生成装置、動画データ生成システム、動画データ生成方法およびコンピュータープログラム
CN102742278B (zh) * 2010-07-08 2015-08-12 松下电器产业株式会社 摄像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0690444A (ja) * 1992-09-07 1994-03-29 Nippon Telegr & Teleph Corp <Ntt> 人物像伝送方式
JP2004195243A (ja) 1998-05-19 2004-07-15 Sony Computer Entertainment Inc 画像処理装置および方法、並びに提供媒体
JP2009146197A (ja) 2007-12-14 2009-07-02 Hitachi Ltd 画像信号処理装置、画像信号処理方法、画像信号処理プログラムおよび表示装置
JP2011097521A (ja) 2009-11-02 2011-05-12 Sony Computer Entertainment Inc 動画像処理プログラム、装置および方法、動画像処理装置を搭載した撮像装置

Also Published As

Publication number Publication date
JP2012244438A (ja) 2012-12-10
TW201251459A (en) 2012-12-16
US20140078265A1 (en) 2014-03-20
RU2570195C2 (ru) 2015-12-10
CN103518368A (zh) 2014-01-15
EP2712177B1 (en) 2020-11-04
TWI496471B (zh) 2015-08-11
EP2712177A4 (en) 2014-11-12
EP2712177A1 (en) 2014-03-26
WO2012157178A1 (ja) 2012-11-22
US9247132B2 (en) 2016-01-26
CN103518368B (zh) 2016-08-03
KR20130140174A (ko) 2013-12-23
BR112013029656A2 (pt) 2020-07-21
JP5629642B2 (ja) 2014-11-26
BR112013029656B1 (pt) 2022-05-03
RU2013156453A (ru) 2015-06-27
MX2013013313A (es) 2014-02-10

Similar Documents

Publication Publication Date Title
KR101451734B1 (ko) 동화상 촬영장치, 정보처리 시스템, 정보처리장치 및 화상 데이터 처리방법
JP5701707B2 (ja) 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法
KR101295441B1 (ko) 기록 매체, 동화상 처리 장치 및 방법, 촬상 장치, 호스트 단말기 및 촬상 시스템
JP5781353B2 (ja) 情報処理装置、情報処理方法、および位置情報のデータ構造
WO2012132167A1 (ja) 情報処理システム、情報処理装置、撮像装置、および情報処理方法
JP6121787B2 (ja) 撮像装置、情報処理システム、および画像データ処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170920

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180920

Year of fee payment: 5