KR20200087751A - 송신 장치 - Google Patents

송신 장치 Download PDF

Info

Publication number
KR20200087751A
KR20200087751A KR1020207010595A KR20207010595A KR20200087751A KR 20200087751 A KR20200087751 A KR 20200087751A KR 1020207010595 A KR1020207010595 A KR 1020207010595A KR 20207010595 A KR20207010595 A KR 20207010595A KR 20200087751 A KR20200087751 A KR 20200087751A
Authority
KR
South Korea
Prior art keywords
area
information
data
image
packet
Prior art date
Application number
KR1020207010595A
Other languages
English (en)
Other versions
KR102641559B1 (ko
Inventor
토모히로 타카하시
타츠야 스기오카
나오키 요시모치
요시아키 이나다
마사츠구 코바야시
코지 요다
타카히로 이이누마
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20200087751A publication Critical patent/KR20200087751A/ko
Application granted granted Critical
Publication of KR102641559B1 publication Critical patent/KR102641559B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H04N5/23229—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H04N21/2356—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages by altering the spatial resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/38—Transmitter circuitry for the transmission of television signals according to analogue transmission standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Facsimiles In General (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

화상에 대해 설정되는 영역에 대응하는 영역 정보를 화상에서의 행마다 설정하고, 설정된 영역 정보와 영역에 대응하는 영역 데이터를 행마다 송신시키는 화상 처리부를 구비하고, 화상 처리부는, 화상을 해석함에 의해 또는, 외부로부터 취득되는 영역 지정 정보에 의거하여 영역을 설정하고, 영역 정보에는, 행의 위치를 나타내는 정보 및 행에 포함되는 영역의 열의 위치를 나타내는 정보가 포함되는 송신 장치가 제공된다.

Description

송신 장치
본 개시는, 송신 장치에 관한 것이다.
촬상 디바이스에 의해 촬상된 화상의 일부의 영역을 절출(cut out)하고, 절출된 영역의 데이터를 전송하는 기술이 개발되어 있다. 상기 기술로서는, 예를 들면 하기한 특허 문헌 1에 기재된 기술을 들 수 있다. 또한 화상의 일부의 영역을 절출하는 기술로서는, 예를 들면 하기한 특허 문헌 2∼4에 기재된 기술을 들 수 있다.
특허 문헌 1 : 일본 특개2016-201756호 공보 특허 문헌 2 : 일본 특개2013-164834호 공보 특허 문헌 3 : 일본 특개2012-209831호 공보 특허 문헌 4 : 일본 특개2014-39219호 공보
예를 들면 특허 문헌 1에 기재된 기술이 이용되는 경우에는, 화상으로부터 일부의 영역을 절출하고, 절출된 영역의 데이터를 전송하는 것이 가능하다. 따라서, 특허 문헌 1에 기재된 기술을 이용하여 절출된 영역의 화상을 전송하는 경우에는, 화상 전체를 전송하는 것보다도 전송에 관한 데이터량이 작아지기 때문에 전송 시간이 단축되는 등의 이점이 있다.
그렇지만, 특허 문헌 1에 기재된 기술에서 절출하는 영역은 사각형의 영역이고, 다른 형상의 영역 데이터를 전송하는 것에 대해서는 특히 고려가 되어 있지 않다. 또한 특허 문헌 2∼4에 기재된 화상의 일부의 영역을 절출하는 기술에서도, 절출하는 영역은 사각형의 영역이다. 그 때문에 특허 문헌 1∼4의 기존의 기술을 이용하였다고 하여도, 화상에 대해 설정되는 임의의 형상의 영역 데이터를 전송하는 것은 곤란하다.
본 개시에서는, 화상에 대해 설정되는 임의의 형상의 영역 데이터를 송신하는 것이 가능한 신규이면서 개량된 송신 장치를 제안한다.
본 개시에 의하면, 화상에 대해 설정되는 영역에 대응하는 영역 정보를 상기 화상에서의 행마다 설정하고, 설정된 상기 영역 정보와 상기 영역에 대응하는 영역 데이터를 행마다 송신시키는 화상 처리부를 구비하고, 상기 화상 처리부는, 상기 화상을 해석함에 의해 또는, 외부로부터 취득되는 영역 지정 정보에 의거하여 상기 영역을 설정하고, 상기 영역 정보에는, 행의 위치를 나타내는 정보 및 행에 포함되는 상기 영역의 열의 위치를 나타내는 정보가 포함되는 송신 장치가 제공된다.
본 개시에 의하면, 화상에 대해 설정되는 임의의 형상의 영역 데이터를 송신할 수 있다.
또한 상기한 효과는 반드시 한정적인 것이 아니고, 상기한 효과와 함께, 또는 상기한 효과에 대신하여, 본 명세서에 나타난 어느 하나의 효과, 또는 본 명세서로부터 파악될 수 있는 다른 효과가 이루어져도 좋다.
도 1은 실시 형태에 관한 통신 시스템의 구성의 한 예를 도시하는 설명도.
도 2는 MIPI CSI-2 규격에서 정하여지는 패킷의 포맷을 도시하는 설명도.
도 3은 MIPI CSI-2 규격에서 정하여지는 패킷의 포맷을 도시하는 설명도.
도 4는 MIPI CSI-2 규격에서의 패킷의 송신에 관한 신호 파형의 한 예를 도시하는 설명도.
도 5는 화상에 대해 설정되는 영역의 한 예를 도시하는 설명도.
도 6은 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 의해 송신되는 데이터의 한 예를 도시하는 설명도.
도 7은 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 의해 송신되는 Embedded Data의 한 예를 설명하기 위한 설명도.
도 8은 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 의해 송신되는 롱 패킷의 구성의 한 예를 도시하는 설명도.
도 9는 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 의해 송신되는 데이터의 한 예를 도시하는 설명도.
도 10은 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 의해 송신되는 데이터의 한 예를 도시하는 설명도.
도 11은 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 의해 송신되는 데이터의 다른 예를 도시하는 설명도.
도 12는 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 대응하는 화상 센서의 구성의 한 예를 도시하는 하드웨어 블록도.
도 13은 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 대응하는 프로세서의 구성의 한 예를 도시하는 기능 블록도.
도 14는 본 실시 형태에 관한 송신 방법에 관한 제2의 송신 방식에 의해 송신되는 데이터의 한 예를 도시하는 설명도.
도 15는 본 실시 형태에 관한 송신 방법에 관한 제2의 송신 방식에 대응하는 화상 센서의 구성의 한 예를 도시하는 하드웨어 블록도.
도 16은 본 실시 형태에 관한 송신 방법에 관한 제2의 송신 방식에 대응하는 프로세서의 구성의 한 예를 도시하는 기능 블록도.
이하에 첨부 도면을 참조하면서, 본 개시의 알맞은 실시의 형태에 관해 상세히 설명한다. 또한 본 명세서 및 도면에서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 관해서는 동일한 부호를 붙임에 의해 중복 설명을 생략한다.
또한 이하에서는, 하기에 나타내는 순서로 설명을 행한다.
1. 본 실시 형태에 관한 송신 방법
[1] 본 실시 형태에 관한 송신 방법을 적용하는 것이 가능한 통신 시스템의 구성
[2] 본 실시 형태에 관한 통신 시스템의 적용례
[3] 본 실시 형태에 관한 송신 방법
[4] 본 실시 형태에 관한 송신 방법이 사용됨에 의해 이루어지는 효과의 한 예
2. 본 실시 형태에 관한 프로그램
(본 실시 형태에 관한 송신 방법)
[1] 본 실시 형태에 관한 송신 방법을 적용하는 것이 가능한 통신 시스템의 구성
우선, 본 실시 형태에 관한 송신 방법을 적용하는 것이 가능한 통신 시스템의 구성의 한 예를 설명한다.
이하에서는, 본 실시 형태에 관한 통신 시스템을 구성하는 장치 사이의 통신 방식이 MIPI(Mobile Industry Processor Interface) CSI-2(Camera Serial Interface 2) 규격에 따른 통신 방식인 경우를 예로 든다. 또한 본 실시 형태에 관한 통신 시스템을 구성하는 장치 사이의 통신 방식은, MIPI CSI-2 규격에 따른 통신 방식으로 한정되지 않는다. 예를 들면, 본 실시 형태에 관한 통신 시스템을 구성하는 장치 사이의 통신은, MIPI CSI-3 규격에 따른 통신 방식이나, MIPI DSI(Display Serial Interface)에 따른 통신 방식 등 MIPI 얼라이언스에서 책정된 다른 규격이라도 좋다. 또한 본 실시 형태에 관한 송신 방법이 적용 가능한 통신 방식이 MIPI 얼라이언스에서 책정된 규격에 관한 통신 방식으로 한정되지 않음은 말할 필요도 없다.
도 1은, 본 실시 형태에 관한 통신 시스템(1000)의 구성의 한 예를 도시하는 설명도이다. 통신 시스템(1000)으로서는, 예를 들면, 스마트 폰 등의 통신 장치나, 드론(원격 조작에 의한 동작, 또는, 자율적인 동작이 가능한 기기), 자동차 등의 이동체 등을 들 수 있다. 또한 통신 시스템(1000)의 적용례는, 상기에 나타내는 예로 한정되지 않는다. 통신 시스템(1000)의 다른 적용례에 관해서는 후술한다.
통신 시스템(1000)은, 예를 들면, 화상 센서(100)와, 프로세서(200)와, 메모리(300)와, 표시 디바이스(400)를 갖는다.
화상 센서(100)는 촬상 기능과 송신 기능을 가지며, 촬상에 의해 생성한 화상을 나타내는 데이터를 송신한다. 프로세서(200)는 화상 센서(100)로부터 송신된 데이터를 수신하고, 수신된 데이터를 처리한다. 즉, 통신 시스템(1000)에서, 화상 센서(100)는 송신 장치의 역할을 다하고, 프로세서(200)는 수신 장치의 역할을 다한다.
또한 도 1에서는, 하나의 화상 센서(100)를 갖는 통신 시스템(1000)을 나타내고 있지만, 본 실시 형태에 관한 통신 시스템이 갖는 화상 센서(100)의 수는, 도 1에 도시하는 예로 한정되지 않는다. 예를 들면, 본 실시 형태에 관한 통신 시스템은 2개 이상의 화상 센서(100)를 갖고 있어도 좋다.
또한 도 1에서는, 하나의 프로세서(200)를 갖는 통신 시스템(1000)을 나타내고 있지만, 본 실시 형태에 관한 통신 시스템이 갖는 프로세서(200)의 수는, 도 1에 도시하는 예로 한정되지 않는다. 예를 들면, 본 실시 형태에 관한 통신 시스템은 2개 이상의 프로세서(200)를 갖고 있어도 좋다.
화상 센서(100) 및 프로세서(200) 각각을 복수 갖는 통신 시스템에서는, 화상 센서(100)와 프로세서(200)가 1대1로 대응하고 있어도 좋고, 하나의 프로세서(200)에 복수의 화상 센서(100)가 대응하고 있어도 좋다. 또한 화상 센서(100) 및 프로세서(200) 각각을 복수 갖는 통신 시스템에서는, 하나의 화상 센서(100)에 복수의 프로세서(200)가 대응하고 있어도 좋다.
화상 센서(100) 및 프로세서(200) 각각을 복수 갖는 통신 시스템에서도, 도 1에 도시하는 통신 시스템(1000)과 마찬가지로 화상 센서(100)와 프로세서(200)의 사이에서 통신이 행하여진다.
화상 센서(100)와 프로세서(200)는 데이터 버스(B1)에 의해 전기적으로 접속된다. 데이터 버스(B1)는, 화상 센서(100)와 프로세서(200)를 접속하는, 하나의 전송로이다. 예를 들면, 화상 센서(100)로부터 송신되는 화상을 나타내는 데이터(이하, 「화상 데이터」로 나타내는 경우가 있다.)는, 화상 센서(100)로부터 프로세서(200)로 데이터 버스(B1)를 통하여 전송된다.
통신 시스템(1000)에서 데이터 버스(B1)에 의해 전송된 신호는, 예를 들면, MIPI CSI-2 규격 등의 소정의 규격에 따른 통신 방식으로 전송된다.
도 2, 도 3은, MIPI CSI-2 규격에서 정하여지는 패킷의 포맷을 도시하는 설명도이다. 도 2는, MIPI CSI-2 규격에서 정하여져 있는 쇼트 패킷(Short Packet)의 포맷을 나타내고 있고, 도 3은, MIPI CSI-2 규격에서 정하여져 있는 롱 패킷(Long Packet)의 포맷을 나타내고 있다.
롱 패킷은, 패킷 헤더(도 3에 도시하는 "PH"), 페이로드(도 3에 도시하는 "Payload Data") 및 패킷 푸터(도 3에 도시하는 "PF")로 이루어지는 데이터이다. 쇼트 패킷은, 도 2에 도시하는 바와 같이 패킷 헤더(도 3에 도시하는 "PH")와 같은 구조를 갖는 데이터이다.
쇼트 패킷과 롱 패킷에는, 모두 헤더 부분에 VC(Virtual Channel) 번호(도 2, 도 3에 나타낸다 "VC". VC값)가 기록되고, 패킷마다 임의의 VC 번호가 부여될 수 있다. 동일한 VC 번호가 부여된 패킷은, 동일한 화상 데이터에 속하는 패킷으로서 취급된다.
또한 쇼트 패킷과 롱 패킷에는, 모두 헤더 부분에 DT(Data Type)값(도 2, 도 3에 도시하는 "Data Type")이 기록된다. 그 때문에 VC 번호와 마찬가지로 동일한 DT 값이 부여된 패킷을 동일한 화상 데이터에 속하는 패킷으로서 취급하는 것도 가능하다.
롱 패킷의 헤더 부분의 Word Count에는, 패킷의 끝이 워드수(數)로 기록된다. 쇼트 패킷과 롱 패킷의 헤더 부분의 ECC에는, 오류 정정 부호(Error Correcting Code)가 기록된다.
MIPI CSI-2 규격에서는, 데이터 신호를 전송하는 기간에서는 고속 차동 신호가 이용되고, 또한 데이터 신호의 블랭킹 기간에서는 저전력 신호가 이용된다. 또한 고속 차동 신호가 이용되는 기간은, HPS(High Speed State)의 기간이라고 불리고, 저전력 신호가 이용되는 기간은, LPS(Low Power State)의 기간이라고 불린다.
도 4는, MIPI CSI-2 규격에서의 패킷의 송신에 관한 신호 파형의 한 예를 도시하는 설명도이다. 도 4의 A는, 패킷의 전송의 한 예를 도시하고 있고, 도 4의 B는, 패킷의 전송의 다른 예를 도시하고 있다. 도 4에 도시하는 "ST", "ET", "PH", "PF", "SP", "PS"는, 각각 하기를 의미한다.
·ST : Start of Transmission
·ET : End of Transmission
·PH : Packet Header
·PF : Packet Footer
·SP : Short Packet
·PS : Packet Spacing
도 4에 도시하는 바와 같이 LPS의 기간에서의 차동 신호(도 4에 도시하는 "LPS")와, HPS의 기간에서의 차동 신호(도 4에 도시하는 "LPS" 이외)에서는, 차동 신호의 진폭이 다름을 알 수 있다. 그 때문에 전송 효율을 향상시키는 관점에서는, 가능한 한 LPS의 기간이 들어가지 않는 것이 바람직하다.
화상 센서(100)와 프로세서(200)는 예를 들면, 데이터 버스(B1)와는 다른 제어 버스(B2)에 의해 전기적으로 접속된다. 제어 버스(B2)는, 화상 센서(100)와 프로세서(200)를 접속하는, 다른 신호의 전송로이다. 예를 들면, 프로세서(200)로부터 출력된 제어 정보가 프로세서(200)로부터 화상 센서(100)에 제어 버스(B2)를 통하여 전송된다.
제어 정보에는, 예를 들면, 제어를 위한 정보와 처리 명령이 포함된다. 제어를 위한 정보로서는, 예를 들면, 화상 사이즈를 나타내는 데이터, 프레임 레이트를 나타내는 데이터, 화상의 출력 명령이 수신되고 나서 화상을 출력할 때까지의 출력 지연량을 나타내는 데이터 중의 1 또는 2 이상 등 화상 센서(100)에서의 기능을 제어하기 위한 데이터를 들 수 있다. 또한 제어 정보에는, 화상 센서(100)를 나타내는 식별 정보가 포함되어 있어도 좋다. 식별 정보로서는, 예를 들면, 화상 센서(100)에 설정되어 있는 ID 등의, 화상 센서(100)를 특정하는 것이 가능한 임의의 데이터를 들 수 있다.
또한 제어 버스(B2)를 통하여 프로세서(200)로부터 화상 센서(100)에 전송되는 정보는, 상기에 나타내는 예로 한정되지 않는다. 예를 들면, 프로세서(200)는 화상에서의 영역을 지정하는 영역 지정 정보를 제어 버스(B2)를 통하여 전송하여도 좋다. 영역 지정 정보로서는, 영역에 포함되는 화소의 위치를 나타내는 데이터(예를 들면, 영역에 포함되는 화소의 위치가 좌표로 표시되는 좌표 데이터 등) 등 영역을 특정하는 것이 가능한 임의의 형식의 데이터를 들 수 있다.
도 1에서는, 화상 센서(100)와 프로세서(200)가 제어 버스(B2)에 의해 전기적으로 접속되어 있는 예를 도시하고 있지만, 화상 센서(100)와 프로세서(200)는 제어 버스(B2)로 접속되지 않아도 좋다. 예를 들면, 화상 센서(100)와 프로세서(200)는 임의의 통신 방식의 무선 통신에 의해 제어 정보 등을 송수신하여도 좋다.
이하, 도 1에 도시하는 통신 시스템(1000)을 구성하는 각 장치에 관해, 설명한다.
[1-1] 메모리(300)
메모리(300)는, 통신 시스템(1000)이 갖는 기록 매체이다. 메모리(300)로서는, 예를 들면, RAM(Random Access Memory) 등의 휘발성 메모리나, 플래시 메모리 등의 불휘발성 메모리 등을 들 수 있다. 메모리(300)는, 배터리 등의 통신 시스템(1000)을 구성하는 내부 전원(도시 생략)으로부터 공급되는 전력, 또는, 통신 시스템(1000)의 외부 전원으로부터 공급되는 전력에 의해 동작한다.
메모리(300)에는, 예를 들면, 화상 센서(100)로부터 출력된 화상이 기억된다. 메모리(300)에의 화상의 기록은, 예를 들면 프로세서(200)에 의해 제어된다.
[1-2] 표시 디바이스(400)
표시 디바이스(400)는, 통신 시스템(1000)이 갖는 표시 디바이스이다. 표시 디바이스(400)로서는, 예를 들면, 액정 디스플레이나 유기 EL 디스플레이(Organic Electro-Luminescence Display. 또는, OLED 디스플레이(Organic Light Emitting Diode Display)라고 불린다.) 등을 들 수 있다. 표시 디바이스(400)는, 배터리 등의 통신 시스템(1000)을 구성하는 내부 전원(도시 생략)으로부터 공급되는 전력, 또는, 통신 시스템(1000)의 외부 전원으로부터 공급되는 전력에 의해 동작한다.
표시 디바이스(400)의 표시 화면에는, 예를 들면, 화상 센서(100)로부터 출력된 화상이나, 프로세서(200)에서 실행되는 어플리케이션에 관한 화면, UI(User Interface)에 관한 화면 등 다양한 화상이나 화면이 표시된다. 표시 디바이스(400)의 표시 화면에의 화상 등의 표시는, 예를 들면 프로세서(200)에 의해 제어된다.
[1-3] 프로세서(200)(수신 장치)
프로세서(200)는 화상 센서(100)로부터 송신된 데이터를 수신하고, 수신된 데이터를 처리한다. 상술한 바와 같이 프로세서(200)는 통신 시스템(1000)에서 수신 장치의 역할을 다한다. 화상 센서(100)로부터 송신된 데이터의 처리에 관한 구성(수신 장치의 역할을 다하기 위한 구성)의 한 예에 관해서는 후술한다.
프로세서(200)는 예를 들면, MPU(Micro Processing Unit) 등의 연산 회로로 구성되는 1 또는 2 이상의 프로세서나, 각종 처리 회로 등으로 구성된다. 프로세서(200)는 배터리 등의 통신 시스템(1000)을 구성하는 내부 전원(도시 생략)으로부터 공급되는 전력, 또는, 통신 시스템(1000)의 외부 전원으로부터 공급되는 전력에 의해 동작한다.
프로세서(200)는 예를 들면, 메모리(300) 등의 기록 매체에의 화상 데이터의 기록 제어에 관한 처리, 표시 디바이스(400)의 표시 화면에의 화상의 표시 제어에 관한 처리, 임의의 어플리케이션 소프트웨어를 실행하는 처리 등 다양한 처리를 행한다. 기록 제어에 관한 처리로서는, 예를 들면 "기록 명령을 포함하는 제어 데이터와 기록 매체에 기록시키는 데이터를 메모리(300) 등의 기록 매체에 전달하는 처리"를 들 수 있다. 또한 표시 제어에 관한 처리로서는, 예를 들면 "표시 명령을 포함하는 제어 데이터와 표시 화면에 표시시키는 데이터를 표시 디바이스(400) 등의 표시 디바이스에 전달하는 처리"를 들 수 있다.
또한 프로세서(200)는 예를 들면, 화상 센서(100)에 대해 제어 정보를 송신함에 의해 화상 센서(100)에서의 기능을 제어하여도 좋다. 프로세서(200)는 예를 들면, 화상 센서(100)에 대해 영역 지정 정보를 송신함에 의해 화상 센서(100)로부터 송신되는 데이터를 제어하는 것도 가능하다.
[1-4] 화상 센서(100)(송신 장치)
화상 센서(100)는 촬상 기능과 송신 기능을 가지며, 촬상에 의해 생성한 화상을 나타내는 데이터를 송신한다. 상술한 바와 같이 화상 센서(100)는 통신 시스템(1000)에서 송신 장치의 역할을 다한다.
화상 센서(100)는 예를 들면, "디지털 스틸 카메라나 디지털 비디오 카메라, 스테레오 카메라 등의 촬상 디바이스"나, "적외선 센서", "거리 화상 센서" 등의, 화상을 생성하는 것이 가능한 임의 방식의 화상 센서 디바이스를 포함하고, 생성된 화상을 송신하는 기능을 갖는다. 화상 센서(100)에서 생성되는 화상은, 화상 센서(100)에서의 센싱 결과를 나타내는 데이터에 해당한다. 화상 센서(100)의 구성의 한 예에 관해서는 후술한다.
화상 센서(100)는 후술하는 본 실시 형태에 관한 송신 방법에 의해 화상에 대해 설정되는 영역에 대응하는 데이터(이하, 「영역 데이터」로 나타낸다.)를 송신한다. 영역 데이터의 송신에 관한 제어는, 예를 들면, 화상 센서(100)에서의 화상 처리부로서 기능하는 구성 요소(후술한다)에 의해 행하여진다. 화상에 대해 설정되는 영역은, ROI(Region Of Interest)라고 불리는 경우가 있다. 이하에서는, 화상에 대해 설정되는 영역을 「ROI」로 나타내는 경우가 있다.
화상에 대한 영역의 설정에 관한 처리로서는, 예를 들면, "화상으로부터 물체를 검출하고, 검출된 물체를 포함하는 영역을 설정하는 처리", "임의의 조작 디바이스에 대한 조작 등에 의해 지정된 영역을 설정하는 처리" 등 화상에서의 일부의 영역을 특정하는 것이 가능한 임의의 처리(또는, 화상으로부터 일부의 영역을 절출하는 것이 가능한 임의의 처리)를 들 수 있다.
화상에 대한 영역의 설정에 관한 처리는, 화상 센서(100)가 행하여도 좋고, 프로세서(200) 등의 외부 장치에서 행하여져도 좋다. 화상 센서(100)가 화상에 대한 영역의 설정에 관한 처리를 행하는 경우, 화상 센서(100)는 화상에 대한 영역의 설정에 관한 처리의 결과에 따라 영역을 특정한다. 또한 예를 들면, 화상에 대한 영역의 설정에 관한 처리가 외부 장치에서 행하여지는 경우, 화상 센서(100)는 외부 장치로부터 취득되는 영역 지정 정보에 의거하여 영역을 특정한다.
상술한 바와 같이 화상 센서(100)는 영역 지정 정보를 제어 버스(B2)를 통하여 프로세서(200)로부터 취득하는 것이 가능하다. 또한 프로세서(200)는 통신 시스템(1000)에서, 화상 센서(100)가 송신하는 영역 데이터의 송신처의 수신 장치에 해당한다. 즉, 화상 센서(100)는 영역 데이터의 송신처의 수신 장치로부터 취득되는 영역 지정 정보에 의거하여 영역을 특정하는 것이 가능하다.
화상 센서(100)가 영역 데이터를 송신하는 것, 즉, 화상의 일부의 데이터를 송신함에 의해 화상 전체를 전송하는 것보다도 전송에 관한 데이터량이 작아진다. 따라서, 화상 센서(100)가 영역 데이터를 송신함에 의해 예를 들면, 전송 시간이 단축되는, 통신 시스템(1000)에서의 전송에 관한 부하가 저감되는 등 데이터량이 저감됨에 의해 이루어지는 다양한 효과가 이루어진다.
또한 화상 센서(100)는 화상 전체를 나타내는 데이터를 송신하는 것도 가능하다.
화상 센서(100)가 영역 데이터를 송신하는 기능 및 화상 전체를 나타내는 데이터를 송신하는 기능을 갖고 있는 경우, 화상 센서(100)는 영역 데이터를 송신하는 것과, 화상 전체를 나타내는 데이터를 송신하는 것을 선택적으로 전환하여 행하는 것이 가능하다.
화상 센서(100)는 예를 들면, 설정되어 있는 동작 모드에 의해 영역 데이터를 송신하고, 또는, 화상 전체를 나타내는 데이터를 송신한다. 동작 모드의 설정은, 예를 들면, 임의의 조작 디바이스에 대한 조작 등에 의해 행하여진다.
또한 화상 센서(100)는 외부 장치로부터 취득되는 영역 지정 정보에 의거하여 영역 데이터를 송신하는 것과, 화상 전체를 나타내는 데이터를 송신하는 것을 선택적으로 전환하여도 좋다. 화상 센서(100)는 예를 들면, 외부 장치로부터 영역 지정 정보가 취득된 때에 당해 영역 지정 정보에 대응하는 영역의 영역 데이터를 송신하고, 외부 장치로부터 영역 지정 정보가 취득되지 않는 때에 화상 전체를 나타내는 데이터를 송신한다.
통신 시스템(1000)은, 예를 들면 도 1에 도시하는 구성을 갖는다. 또한 본 실시 형태에 관한 통신 시스템의 구성은 도 1에 도시하는 예로 한정되지 않는다.
예를 들면, 도 1에서는, 송신 장치의 역할을 다하는 장치로서 화상 센서(100)를 예로 들었지만, 송신 장치의 역할을 다하는 장치는, 화상 센서(100)로 한정되지 않는다. 예를 들면, 본 실시 형태에 관한 통신 시스템이 촬상 디바이스 등의 화상 센서 디바이스와, 화상 센서 디바이스와 전기적으로 접속되어 있는 송신기를 갖는 구성인 경우, 당해 송신기가 송신 장치의 역할을 다하고 있어도 좋다.
또한 도 1에서는, 수신 장치의 역할을 다하는 장치로서, 프로세서(200)를 예로 들었지만, 수신 장치의 역할을 다하는 장치는, 프로세서(200)로 한정되지 않는다. 예를 들면, 본 실시 형태에 관한 통신 시스템에서는, 데이터를 수신하는 기능을 갖는 임의의 디바이스가 수신 장치의 역할을 다하는 것이 가능하다.
또한 통신 시스템의 외부의 기록 매체에 화상 센서(100)로부터 송신되는 화상이 기억되는 경우, 화상 센서(100)로부터 송신되는 화상이 프로세서(200)가 구비하는 메모리에 기억되는 경우, 또는, 화상 센서(100)로부터 송신되는 화상이 기록되지 않는 경우 등에는, 본 실시 형태에 관한 통신 시스템은 메모리(300)를 갖지 않아도 좋다.
또한 본 실시 형태에 관한 통신 시스템은 도 1에 도시하는 표시 디바이스(400)를 갖지 않는 구성을 취하는 것이 가능하다.
또한 본 실시 형태에 관한 통신 시스템은 후술하는 본 실시 형태에 관한 통신 시스템이 적용되는 전자 기기가 갖는 기능에 응한 임의의 구성을 갖고 있어도 좋다.
[2] 본 실시 형태에 관한 통신 시스템의 적용례
이상, 본 실시 형태로서 통신 시스템을 들어 설명하였지만, 본 실시 형태는, 이러한 형태로 한정되지 않는다. 본 실시 형태는, 예를 들면, 스마트 폰 등의 통신 장치나, 드론(원격 조작에 의한 동작, 또는, 자율적인 동작이 가능한 기기), 자동차 등의 이동체, PC(Personal Computer) 등의 컴퓨터, 태블릿형의 장치, 게임기 등 다양한 전자 기기에 적용할 수 있다.
[3] 본 실시 형태에 관한 송신 방법
다음에 본 실시 형태에 관한 송신 방법을 설명한다. 이하에서는, 본 실시 형태에 관한 송신 방법이 도 1에 도시하는 화상 센서(100)(본 실시 형태에 관한 송신 장치)에 적용되는 경우를 예로 든다. 화상 센서(100)에서 본 실시 형태에 관한 송신 방법에 관한 처리는, 예를 들면, 화상 처리부로서 기능하는 IC 칩(후술한다)에 의해 행하여진다. 또한 화상 센서(100)에서는, 화상 처리부로서 기능하는 다른 구성 요소에 의해 본 실시 형태에 관한 송신 방법에 관한 처리가 행하여져도 좋다.
도 5는, 화상에 대해 설정되는 영역의 한 예를 도시하는 설명도이다. 도 5에서는, 영역의 예로서, 영역(1), 영역(2), 영역(3) 및 영역(4)라는 4개의 영역을 나타내고 있다. 또한 화상에 대해 설정되는 영역이 도 5에 도시하는 예로 한정되지 않음은 말할 필요도 없다.
상술한 바와 같이 기존의 기술을 이용하는 경우에는, 도 5의 영역(1)과 같은 사각형 영역의 데이터를 전송하는 것은 가능하다.
그렇지만, 상술한 바와 같이 기존의 기술을 이용하였다고 하여도, 도 5의 영역(2), 영역(3) 및 영역(4)과 같은, 화상에 대해 설정되는 사각형 이외의 임의의 형상의 영역 데이터를 전송하는 것은 곤란하다. 또한 기존의 기술을 이용하였다고 하여도, 도 5의 영역(1) 및 영역(2)과 같은 하나의 행에 복수의 영역이 설정되어 있는 경우 및 도 5의 영역(3) 및 영역(4)과 같은 설정되어 있는 영역이 겹쳐져 있는 경우에 영역의 데이터를 전송하는 것은 곤란하다. 여기서, 화상에서의 행이란, 화소의 위치를 2차원 평면 좌표(x, y)로 나타낼 때, y좌표가 동일한 것을 말한다.
[3-1] 기본 처리
그래서, 화상 센서(100)는 화상에 대해 설정되는 영역에 대응하는 영역 정보를 화상에서의 행마다 설정한다.
그리고, 화상 센서(100)는 설정된 영역 정보와, 영역에 대응하는 영역 데이터를 행마다 송신시킨다. 화상 센서(100)는 예를 들면 y좌표의 값의 오름순서 또는 내림순서 등 소정의 순서에 따라, 행마다의 영역 정보와 영역 데이터를 송신시킨다. 또한 화상 센서(100)는 랜덤한 순서로 행마다의 영역 정보와 영역 데이터를 송신시켜도 좋다.
본 실시 형태에 관한 영역 정보란, 화상에 대해 설정되는 영역을 수신 장치측에서 특정하기 위한 데이터(데이터군)이다. 영역 정보에는, 예를 들면, 행의 위치를 나타내는 정보, 행에 포함되는 영역의 식별 정보, 행에 포함되는 영역의 열의 위치를 나타내는 정보 및 행에 포함되는 영역의 크기를 나타내는 정보가 포함된다.
또한 영역 정보에 포함되는 정보는, 후술하는 송신 방식에 의해 바꾸어질 수 있다. 예를 들면, 후술하는 제2의 송신 방식 및 제3의 송신 방식에서는, 행에 포함되는 영역의 식별 정보와, 행에 포함되는 영역의 크기를 나타내는 정보의 일방 또는 쌍방이 포함되지 않아도 좋다. 예를 들면, VC 번호로 영역이 나누어지는 경우, 후술하는 제2의 송신 방식 및 제3의 송신 방식에서는, VC 번호가 행에 포함되는 영역의 식별 정보의 역할을 다하여도 좋다. 또한 VC 번호로 영역이 나누어지는 경우, 후술하는 제2의 송신 방식 및 제3의 송신 방식에서는, 페이로드 길이를 행에 포함되는 영역의 크기를 나타내는 정보로서 대용하는 것이 가능하다. 이하에서는, "영역 정보에 행의 위치를 나타내는 정보, 행에 포함되는 영역의 식별 정보, 행에 포함되는 영역의 열의 위치를 나타내는 정보 및 행에 포함되는 영역의 크기를 나타내는 정보가 포함되는 경우"를 예로 든다.
행의 위치를 나타내는 정보로서는, 예를 들면, y좌표의 번호를 나타내는 데이터나, 초기치(예를 들면 "0"(제로))가 잉크리먼트되어 산출되는 y좌표의 값을 나타내는 데이터 등 행을 특정하는 것이 가능한 임의의 데이터를 들 수 있다. 이하에서는, 행의 위치를 나타내는 정보를 「Y」로 나타내는 경우가 있다.
영역의 식별 정보로서는, 예를 들면, 영역에 붙여진 번호 등의 영역의 ID를 나타내는 데이터 등 영역을 일의적으로 특정하는 것이 가능한 임의의 데이터를 들 수 있다. 이하에서는, 영역의 식별 정보를 「ROI ID」 또는 「I」로 나타내는 경우가 있다.
영역의 열의 위치를 나타내는 정보로서는, 예를 들면, x좌표의 번호를 나타내는 데이터 등 열을 특정하는 것이 가능한 임의의 데이터를 들 수 있다. 이하에서는, 영역의 열의 위치를 나타내는 정보를 「ROI X」 또는 「X」로 나타내는 경우가 있다.
영역의 크기를 나타내는 정보로서는, 행에서의 영역의 화소수를 나타내는 데이터 등 행에서의 영역의 크기를 특정하는 것이 가능한 임의의 데이터를 들 수 있다. 이하에서는, 행에서의 영역의 크기를 「ROI 길이」, 「ROI LEN」, 또는「L」로 나타내는 경우가 있다.
예를 들면 상기한 바와 같이 행의 위치를 나타내는 정보, 영역의 식별 정보, 영역의 열의 위치를 나타내는 정보 및 영역의 크기를 나타내는 정보가 영역 정보에 설정됨에 의해 영역 정보를 수신한 수신 장치는, 영역의 특정, 영역의 위치의 특정 및 ROI 길이의 특정을 행할 수가 있다. 또한 영역의 특정, 영역의 위치의 특정 및 ROI 길이의 특정이 행하여짐에 의해 행에서 영역이 어느 위치에 어느 ROI 길이로 설정되어 있는지를 일의적으로 특정하는 것이 가능하다.
따라서, 행의 위치를 나타내는 정보, 영역의 식별 정보, 영역의 열의 위치를 나타내는 정보 및 영역의 크기를 나타내는 정보가 영역 정보에 설정됨에 의해 통신 시스템(1000)은, "도 5의 영역(1)과 같은, 사각형의 영역의 영역 데이터" 및 "도 5의 영역(2), 영역(3) 및 영역(4)과 같은, 사각형 이외의 임의의 형상의 영역의 영역 데이터" 각각의 전송에 대응할 수 있다.
또한 화상 센서(100)는 영역 정보에 포함되는 정보를 행에 포함되는 영역마다 통합하여 영역 정보에 설정하여도 좋다. 화상 센서(100)는 예를 들면, 영역의 식별 정보, 영역의 열의 위치를 나타내는 정보 및 영역의 크기를 나타내는 정보를 행에 포함되는 영역마다 통합하여 영역 정보에 설정한다. 영역마다 통합하여 영역 정보에 설정한다는 것은 예를 들면, 영역의 식별 정보, 영역의 열의 위치를 나타내는 정보 및 영역의 크기를 나타내는 정보(영역 정보에 포함되는 정보의 한 예)를 일군의 데이터로서 영역 정보에 설정하는 것을 말한다.
여기서, 화상 센서(100)는 행마다 영역 정보를 설정하기 때문에 복수의 영역이 포함되어 있다고 하여도, 행의 위치는 일정하다. 따라서, 화상 센서(100)는 행의 위치를 나타내는 정보를 영역 정보에 하나 설정한다. 또한 화상 센서(100)가 행의 위치를 나타내는 정보, 영역의 식별 정보, 영역의 열의 위치를 나타내는 정보 및 영역의 크기를 나타내는 정보를 행에 포함되는 영역마다 통합하여 설정하는 것이 가능한 것은 말할 필요도 없다.
예를 들면 상기한 바와 같이 영역의 식별 정보, 영역의 열의 위치를 나타내는 정보 및 영역의 크기를 나타내는 정보가 행에 포함되는 영역마다 통합하여 설정됨에 의해 영역 정보를 수신한 수신 장치는, 영역의 특정, 영역의 위치의 특정 및 ROI 길이의 특정을 영역마다, 보다 용이하게 행할 수 있다. 또한 영역의 특정, 영역의 위치의 특정 및 ROI 길이의 특정이 행하여짐에 의해 행에서 어느 영역이 어느 위치에 어느 ROI 길이로 설정되어 있는지를 일의적으로 특정하는 것이 가능하다.
따라서, 영역의 식별 정보, 영역의 열의 위치를 나타내는 정보 및 영역의 크기를 나타내는 정보가 행에 포함되는 영역마다 통합하여 설정됨에 의해 통신 시스템(1000)은, "도 5의 영역(1) 및 영역(2)과 같은 하나의 행에 복수의 영역이 설정되어 있는 경우에 있어서의, 영역 데이터의 전송" 및 "도 5의 영역(3) 및 영역(4)과 같은 설정되어 있는 영역이 겹쳐져 있는 경우에 있어서의, 영역 데이터의 전송"에 대응할 수 있다.
또한 도 5의 영역(3) 및 영역(4)과 같이 설정되어 있는 영역이 겹쳐져 있는 경우, 즉, 복수의 영역이 겹쳐지는 겹침 부분이 존재하는 경우, 화상 센서(100)는 겹침 부분의 데이터를 중복하여 송신시키는지를 판정하여도 좋다. 화상 센서(100)는 예를 들면 겹침 부분이 존재하는 영역의 조마다, 겹침 부분의 데이터를 중복하여 송신시키는지를 판정한다. 그리고, 겹침 부분의 데이터를 중복하여 송신시키는지를 판정할 때에는, 화상 센서(100)는 겹침 부분의 데이터를 중복하여 송신시킨다고 판정한 경우에 겹침 부분의 데이터를 중복하여 송신시킨다.
여기서, 겹침 부분의 데이터를 중복하여 송신시킨다는 것은 예를 들면, "겹침 부분의 데이터를 겹침 부분이 존재하는 복수의 영역 각각에 대응하는 영역 데이터에 포함하여 송신시키는 것"를 말한다. 겹침 부분의 데이터를 중복하여 송신시키는 구체례에 관해서는 후술한다.
화상 센서(100)가 겹침 부분의 데이터를 중복하여 송신시키는 경우라도, 영역 정보 및 영역 데이터를 수신한 수신 장치는, 영역 정보에 의해 영역에 대응하는 영역 데이터를 일의적으로 특정하는 것이 가능하다. 또한 겹침 부분의 데이터를 중복하여 송신시키는 경우, 화상 센서(100)는 수신 장치측에서 복수의 영역 각각에 대응하는 영역 데이터의 분리가 보다 용이해지도록, 데이터의 단락을 나타내는 헤더 등을 추가하여도 좋다.
겹침 부분의 데이터가 중복하여 송신됨에 의해 "프로세서(200) 등의 영역 데이터를 수신한 수신 장치에서, 수신된 영역 데이터를 이용한 처리가 보다 행하기 쉽게 된다는 이점"이 있다.
화상 센서(100)는 예를 들면, 겹침 부분을 포함하는 행의 열수(화소수)에 의거하여 겹침 부분의 데이터를 중복하여 송신시키는지를 판정한다. 보다 구체적으로는, 화상 센서(100)는 예를 들면, 겹침 부분을 포함하는 행에서 겹침 부분의 데이터를 중복하여 송신시키는 경우에 있어서의 열수를 구한다. 그리고, 화상 센서(100)는 구하여진 열수가 설정되어 있는 임계치 이하인 경우(또는, 구하여진 열수가 당해 임계치보다 작은 경우)에 겹침 부분의 데이터를 중복하여 송신시킨다고 판정한다. 또한 화상 센서(100)는 구하여진 열수가 설정되어 있는 임계치보다도 큰 경우(또는, 구하여진 열수가 당해 임계치 이상인 경우)에 겹침 부분의 데이터를 중복하여 송신시킨다고 판정하지 않는다. 상기 겹침 부분의 데이터의 송신 판정에 관한 임계치는, 미리 설정되어 있는 고정치라도 좋고, 제어 버스(B2)를 이용한 프로세서(200)에 의한 제어 등에 의해 변경 가능한 가변치라도 좋다.
예를 들면 상기한 바와 같이 "겹침 부분의 데이터를 중복하여 송신시키는 경우에 있어서의 열수"에 의거하여 겹침 부분의 데이터를 중복하여 송신시키는지가 판정됨에 의해 화상 센서(100)는 겹침 부분의 데이터를 중복하여 송신하는 것과, 겹침 부분의 데이터를 중복하여 송신하지 않는 것을 설정되는 영역에 응하여 자동적으로 전환할 수 있다. 또한 겹침 부분의 데이터를 중복하여 송신하는 것과, 겹침 부분의 데이터를 중복하여 송신하지 않는 것이 설정되는 영역에 응하여 자동적으로 전환됨에 의해 화상 센서(100)는 수신 장치의 처리 능력을 초과하지 않는 데이터를 송신할 수 있다.
또한 겹침 부분의 데이터를 중복하여 송신시키는지를 판정하는 방법은, 겹침 부분을 포함하는 행의 열수를 이용하는 방법으로 한정되지 않는다.
예를 들면, 화상 센서(100)는 설정되어 있는 동작 모드에 의거하여 겹침 부분의 데이터를 중복하여 송신시키는지를 판정하는 것도 가능하다. 화상 센서(100)는 예를 들면, 화상 센서(100)는 동작 모드가 겹침 부분의 데이터를 중복하여 송신하는 동작 모드인 경우에 겹침 부분의 데이터를 중복하여 송신시킨다고 판정한다. 또한 화상 센서(100)는 예를 들면, 화상 센서(100)는 동작 모드가 겹침 부분의 데이터를 중복하여 송신하지 않는 동작 모드인 경우에는, 겹침 부분의 데이터를 중복하여 송신시킨다고 판정하지 않는다. 화상 센서(100)에서의 동작 모드는, 예를 들면 제어 버스(B2)를 통한 프로세서(200)에 의한 제어 등에 의해 설정된다.
또한 예를 들면 도 5의 영역(2)에 도시하는 바와 같이 설정되는 영역에 의해서는, 하나의 행에 동일한 영역이 복수 존재할 수 있다. 그래서, 화상 센서(100)는 하나의 행에 동일한 영역이 복수 존재하는 경우, 존재하는 수만큼, 영역 정보를 설정하여도 좋다. 하나의 행에 동일한 영역이 복수 존재하는 경우, 화상 센서(100)는 예를 들면, 존재하는 수만큼, 영역의 식별 정보, 영역의 열의 위치를 나타내는 정보 및 영역의 크기를 나타내는 정보를 영역 정보에 설정한다.
예를 들면, 하나의 행에 동일한 영역이 복수 존재하는 수만큼, 영역의 식별 정보, 영역의 열의 위치를 나타내는 정보 및 영역의 크기를 나타내는 정보가 영역 정보에 설정됨에 의해 영역 정보를 수신한 수신 장치는, 영역의 특정, 영역의 위치의 특정 및 ROI 길이의 특정을 복수 존재하는 동일한 영역마다 행할 수 있다.
따라서, 하나의 행에 동일한 영역이 복수 존재하는 수만큼, 영역 정보가 설정됨에 의해 통신 시스템(1000)은, 도 5의 영역(2)의 영역 데이터의 전송에 대응할 수 있다.
따라서 예를 들면 상기한 바와 같은 각종 정보가 포함되는 영역 정보가 행마다 설정됨에 의해 영역 정보를 수신한 수신 장치는, 행에 설정되어 있는 영역을 일의적으로 특정할 수 있다.
또한 영역 정보에 포함되는 정보는, 상기에 나타내는 예로 한정되지 않는다. 예를 들면, 영역 정보에는, 행에 포함되는 영역수를 나타내는 데이터(이하, 「Num of ROI」로 나타내는 경우가 있다.) 등 다른 데이터가 포함되어 있어도 좋다. 영역 정보에 포함되는 정보의 구체례에 관해서는 후술한다.
[3-2] 예외 처리
또한 본 실시 형태에 관한 송신 방법에 관한 처리는, 상기 기본 처리로 한정되지 않는다.
(a) 예외 처리의 제1의 예
예를 들면, 화상 센서(100)는 영역 정보에 포함되는 정보 중, 하나 전에 송신시키는 행의 영역 정보에 포함되는 정보로부터 변화하지 않는 정보는, 영역 정보에 설정하지 않아도 좋다. 즉, 화상 센서(100)는 하나 전에 영역 정보를 송신시키는 행부터 변화한 정보를 포함하는 영역 정보를 송신시킨다.
상기한 바와 같이 하나 전에 송신시키는 행의 영역 정보에 포함되는 정보로부터 변화하지 않는 정보가 송신되지 않음에 의해 영역 정보의 데이터량을 보다 저감시킬 수 있다. 영역 정보의 데이터량이 저감하는 것은 전송 시간의 단축이나, 통신 시스템(1000)에서의 전송에 관한 부하의 저감에 기여한다.
또한 하나 전에 송신시키는 행의 영역 정보에 포함되는 정보로부터 변화하지 않는 정보라도, 다른 정보의 변화에 수반하여 영역 정보에 설정되는 정보가 있어도 좋다.
예를 들면, 화상 센서(100)는 영역의 열의 위치를 나타내는 정보를 영역 정보에 설정할 때에는, 영역 정보에 영역의 식별 정보를 설정한다. 또한 예를 들면, 화상 센서(100)는 영역의 크기를 나타내는 정보를 영역 정보에 설정할 때에는, 영역 정보에 영역의 식별 정보를 영역 정보에 설정한다. 즉, 영역의 x좌표 및 ROI 길이의 일방 또는 쌍방이 하나 전에 송신시키는 행의 영역 정보에 포함되는 내용으로부터 변경되는 경우, 화상 센서(100)는 영역의 식별 정보를 영역 정보에 설정한다.
영역의 x좌표 및 ROI 길이의 일방 또는 쌍방이 변경되는 경우에 화상 센서(100)가 영역의 식별 정보를 영역 정보에 설정함에 의해 영역 정보를 수신한 수신 장치는, 변경 내용에 대응하는 영역을 일의적으로 특정할 수 있다.
(b)예외 처리의 제2의 예
상술한 바와 같이 화상 센서(100)는 소정의 순서에 따라 행마다의 영역 정보와 영역 데이터를 송신시키는 것이 가능하다. 이때, 영역 정보와 영역 데이터를 송신시키는 행이 소정의 순서에 따른 행인 경우에는, 화상 센서(100)는 영역 정보에 행의 위치를 나타내는 정보를 설정하지 않아도 좋다.
화상 센서(100)가 영역 정보에 행의 위치를 나타내는 정보를 설정하지 않는 경우라도, 수신 장치는, 소정의 순서에 따름에 의해 수신된 영역 정보 및 영역 데이터가 어느 행에 포함되는 영역의 데이터인지를 특정할 수 있다.
[3-3] 영역 정보와 영역 데이터의 송신 방식
화상 센서(100)는 예를 들면, "상기 [3-1]에 나타내는 기본 처리", 또는, "상기 [3-1]에 나타내는 기본 처리 및 상기 [3-2]에 나타내는 예외 처리"를 행함에 의해 영역 정보와 영역 데이터를 행마다 송신한다. 다음에 영역 정보와 영역 데이터를 송신하는 송신 방식에 관해, 설명한다.
영역 정보와 영역 데이터의 송신 방식으로서는, 예를 들면, 하기한 (1)에 나타내는 제1의 송신 방식, 하기한 (2)에 나타내는 제2의 송신 방식 및 하기한 (3)에 나타내는 제3의 송신 방식을 들 수 있다.
(1) 제1의 송신 방식
(1-1) 제1의 송신 방식에 관한 처리
화상 센서(100)는 영역 정보와 영역 데이터를 패킷의 페이로드에 격납하고, 행마다 송신시킨다.
도 6은, 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 의해 송신되는 데이터의 한 예를 도시하는 설명도이다. 도 6은, "도 5에 도시하는 영역(1), 영역(2), 영역(3) 및 영역(4) 각각에 대응하는 영역 정보 및 영역 데이터가 도 3에 도시하는 MIPI의 롱 패킷의 페이로드에 격납하여, 행마다 송신되는 예"를 나타내고 있다.
도 6에 도시하는 "FS"는, MIPI CSI-2 규격에서의 FS(Frame Start) 패킷이고, 도 6에 도시하는 "FE"는, MIPI CSI-2 규격에서의 FE(Frame End) 패킷이다(다른 도면에서도 마찬가지이다).
도 6에 도시하는 "Embedded Data"는, 송신되는 데이터의 헤더, 또는, 푸터에 매입하는 것의 가능한 데이터이다. "Embedded Data"로서는, 예를 들면, 화상 센서(100)가 부가적으로 송신하는 부가 정보를 들 수 있다. 이하에서는, Embedded Data를 「EBD」로 나타내는 경우가 있다.
본 실시 형태에 관한 부가 정보로서는, 예를 들면, 영역의 데이터량을 나타내는 정보, 영역의 크기를 나타내는 정보 및 영역의 우선도를 나타내는 정보 중의, 1 또는 2 이상을 들 수 있다.
영역의 데이터량을 나타내는 정보로서는, 예를 들면 "영역에 포함되는 화소수(또는 영역의 데이터량)와, 헤더의 데이터량을 나타내는 데이터" 등 영역의 데이터량을 특정하는 것이 가능한 임의의 형식의 데이터를 들 수 있다. 도 6에 도시하는 "Embedded Data"로서 영역의 데이터량을 나타내는 정보가 송신됨에 의해 수신 장치는, 각 영역의 데이터량을 특정할 수 있다. 즉, 도 6에 도시하는 "Embedded Data"로서 영역의 데이터량을 나타내는 정보가 송신됨에 의해 수신 장치가 영역 정보에 의거하여 각 영역의 데이터량을 산출하는 기능을 갖지 않는 경우라도, 수신 장치에 영역의 데이터량을 특정시킬 수 있다.
영역의 크기를 나타내는 정보로서는, 예를 들면 "영역을 포함하는 사각형의 영역을 나타내는 데이터(예를 들면, 당해 사각형의 영역에서의, 수평 방향의 화소수 및 수직 방향의 화소수를 나타내는 데이터)" 등 영역의 크기를 특정하는 것이 가능한 임의의 형식의 데이터를 들 수 있다.
영역의 우선도를 나타내는 정보는, 예를 들면, 영역의 데이터의 처리에서 이용되는 데이터이다. 한 예를 들면, 영역의 우선도를 나타내는 정보가 나타내는 우선도는, 영역을 처리하는 순서나, 도 5의 영역(3) 및 영역(4)과 같은 설정되어 있는 영역이 겹쳐져 있는 경우에 있어서의 처리 등에 이용된다.
또한 본 실시 형태에 관한 부가 정보는, 상기에 나타내는 예로 한정되지 않는다. 예를 들면, 본 실시 형태에 관한 부가 정보로서는, 화상 센서 디바이스에서의 노출치 등을 나타내는 노광 정보, 화상 센서 디바이스에서의 게인을 나타내는 게인 정보 등의, 다양한 데이터를 들 수 있다. 노광 정보가 나타내는 노광치 및 게인 정보가 나타내는 게인 각각은, 제어 버스(B2)를 통한 프로세서(200)에 의한 제어에 의해 화상 센서 디바이스에 설정된다.
도 7은, 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 의해 송신되는 Embedded Data의 한 예를 설명하기 위한 설명도이다. 도 7은, 도 6에 도시하는 "Embedded Data"로서 영역의 크기를 나타내는 정보가 송신되고, 송신되는 영역의 크기를 나타내는 정보가 영역을 포함하는 최소의 사각형의 영역을 나타내는 데이터인 예를 나타내고 있다. 또한 도 7은, 도 5와 마찬가지로 영역(1), 영역(2), 영역(3) 및 영역(4)라는 4개의 영역이 설정되어 있는 예를 나타내고 있다.
도 6에 도시하는 "Embedded Data"로서 영역의 크기를 나타내는 정보가 송신됨에 의해 수신 장치는, 도 7의 R1에 도시하는 영역(1)을 포함하는 최소의 사각형의 영역, 도 7의 R2에 도시하는 영역(2)을 포함하는 최소의 사각형의 영역, 도 7의 R3에 도시하는 영역(3)을 포함하는 최소의 사각형의 영역 및 도 7의 R4에 도시하는 영역(4)을 포함하는 최소의 사각형의 영역을 특정할 수 있다. 즉, 도 6에 도시하는 "Embedded Data"로서 영역의 크기를 나타내는 정보가 송신됨에 의해 수신 장치가 영역 정보에 의거하여 각 영역을 포함하는 최소의 사각형의 영역을 특정하는 기능을 갖지 않는 경우라도, 수신 장치에 영역 정보에 의거하여 각 영역을 포함하는 최소의 사각형의 영역을 특정시킬 수 있다. 또한 영역의 크기를 나타내는 정보가 각 영역을 포함하는 최소의 사각형의 영역을 나타내는 데이터로 한정되지 않음은 말할 필요도 없다.
영역의 우선도를 나타내는 정보로서는, 예를 들면, 우선도가 높은 순서로 ROI ID가 나열되어 있는 데이터나, 우선도가 낮은 순서로 ROI ID가 나열되어 있는 데이터 등 영역의 우선도를 특정하는 것이 가능한 임의의 형식의 데이터를 들 수 있다. 도 6에 도시하는 "Embedded Data"로서 영역의 우선도를 나타내는 정보가 송신됨에 의해 수신 장치는, 예를 들면, 영역의 처리 순서나, 어느 영역을 우선적으로 처리하는지를 특정할 수 있다. 즉, 도 6에 도시하는 "Embedded Data"로서 영역의 우선도를 나타내는 정보가 송신됨에 의해 수신 장치에서의 영역에 대한 처리를 제어할 수 있다.
또한 도 6에 도시하는 "Embedded Data"로서 송신되는, 영역의 데이터량을 나타내는 정보, 영역의 크기를 나타내는 정보 및 영역의 우선도를 나타내는 정보 각각의 예가 상기에 나타내는 예로 한정되지 않음은 말할 필요도 없다.
도 6에 도시하는 "PH"는, 롱 패킷의 패킷 헤더이다. 여기서, 제1의 송신 방식에 관한 롱 패킷의 패킷 헤더는, 영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 영역 정보로부터 변화하고 있는지의 여부를 나타내는 데이터(변화 정보)로서, 기능하여도 좋다. 즉, 도 6에 도시하는 "PH"는, 롱 패킷의 데이터 타입을 나타내는 하나의 데이터라고 말할 수 있다.
한 예를 들면, 화상 센서(100)는 영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 영역 정보로부터 변화하고 있는 경우, "PH"에 "0x38"을 설정한다. 이 경우, 화상 센서(100)는 영역 정보를 롱 패킷의 페이로드에 격납한다.
다른 예를 들면, 화상 센서(100)는 영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 영역 정보로부터 변화하지 않는 경우, "PH"에 "0x39"를 설정한다. 이 경우, 화상 센서(100)는 영역 정보를 롱 패킷의 페이로드에 격납하지 않는다. 즉, 영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 영역 정보로부터 변화하지 않는 경우, 화상 센서(100)는 영역 정보를 송신시키지 않는다.
또한 "PH"에 설정되는 데이터가 상기에 나타내는 예로 한정되지 않음은 말할 필요도 없다.
도 6에 도시하는 "Info"는, 페이로드에 격납되는 영역 정보이다(다른 도면에서도 마찬가지이다). 도 6에 도시하는 바와 같이 영역 정보는, 페이로드의 선두 부분에 격납된다. 이하에서는, 영역 정보를 「ROI Info」로 나타내는 경우가 있다.
도 6에 도시하는 "1", "2", "3" 및 "4" 각각은, 페이로드에 격납되는, 영역(1)의 영역 데이터, 영역(2)의 영역 데이터, 영역(3)의 영역 데이터 및 영역(4)의 영역 데이터에 해당한다(다른 도면에서도 마찬가지이다). 또한 도 6에서는, 각 영역 데이터가 구분되어 단락으로 나타나 있는데, 이것은 편의상 단락을 나타낸 것이고, 페이로드에 격납된 데이터에 단락은 없다(다른 도면에서도 마찬가지이다). 이하에서는, 영역 데이터를 「ROI DATA」로 나타내는 경우가 있다.
도 8은, 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 의해 송신되는 롱 패킷의 구성의 한 예를 도시하는 설명도이다.
도 8에 도시하는 "ROI Info Type"은, "ROI Info Parameter"의 전송 형식을 나타내는 데이터이다. "ROI Info Type"이 설정됨에 의해 영역 정보를 수신한 수신 장치는, "ROI Info Parameter"의 내용을 일의적으로 특정하는 것이 가능해진다.
또한 "ROI Info Type"은, 롱 패킷의 데이터 타입을 나타내는 다른 데이터에 해당한다. 즉, 제1의 송신 방식에 관한 롱 패킷에서는, "PH" 및 "ROI Info Type"이라는 2개의, 롱 패킷의 데이터 타입으로서 정의된다.
"ROI Info Type"은, 예를 들면 1[byte]의 데이터이고, Verilog-HDL 표기로 나타내면 하기한 의미를 갖는다. 또한 "ROI Info Type"가 1[byte]의 데이터로 한정되지 않음은 말할 필요도 없다.
· [7 : 4] … Reserved
·[3] … 「1'b1」 : Y를 전송한다, 「1'b0」 : Y를 전송하지 않는다
·[2] … 「1'b1」 : ROI ID를 전송한다, 「1'b0」 : ROI ID를 전송하지 않는다
·[1] … 「1'b1」 : X를 전송한다, 「1'b0」 : X를 전송하지 않는다
·[0] … 「1'b1」 : ROI 길이를 전송한다, 「1'b0」 : ROI 길이를 전송하지 않는다
또한 도 8에 도시하는 "ROI Info Parameter"에는, "ROI Info Type"에 응한 데이터가 격납된다.
또한 제1의 송신 방식에 관한 영역 정보에는, 예를 들면, 영역의 x좌표 및 ROI 길이의 쌍방이 하나 전에 송신시키는 패킷에 포함되는 영역 정보로부터 변화하지 않은 것을 나타내는 플래그(이하, 「NO CHANGE 플래그」로 나타낸다.)가 포함되어 있어도 좋다. NO CHANGE 플래그가 변화하지 않는 것을 나타내는 경우(예를 들면, NO CHANGE 플래그가 1'b1인 경우), "ROI Info Type"의 상기 [1] 및 상기 [0]는 생략되어도 좋다.
NO CHANGE 플래그로서는, 예를 들면, ROI ID의 MSB(Most Significant Bit)를 들 수 있다. 또한 NO CHANGE 플래그는, ROI ID와는 별도의 데이터라도 좋다.
도 9는, 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 의해 송신되는 데이터의 한 예를 도시하는 설명도이고, 도 8에 도시하는 롱 패킷의 구성에 따라 도 6에 도시하는 데이터를 구체적으로 도시한 도면이다.
제1의 송신 방식에서는, 도 5에 도시하는 영역(1), 영역(2), 영역(3) 및 영역(4) 각각에 대응하는 영역 정보 및 영역 데이터는, 예를 들면 도 9에 도시하는 바와 같이 MIPI의 롱 패킷의 페이로드에 격납되어 행마다 송신된다.
상술한 바와 같이 화상 센서(100)는 영역의 데이터량을 나타내는 정보, 영역의 크기를 나타내는 정보 및 영역의 우선도를 나타내는 정보 중의 1 또는 2 이상(부가 정보의 한 예)을 도 6에 도시하는 "Embedded Data"로서 송신하는 것이 가능하다.
또한 상술한 바와 같이 도 5의 영역(3) 및 영역(4)과 같은 복수의 영역이 겹쳐지는 겹침 부분이 존재하는 경우, 화상 센서(100)는 겹침 부분의 데이터를 중복하여 송신시키는지를 판정하고, 판정 결과에 따라 겹침 부분의 데이터를 중복하여 송신시켜도 좋다.
도 10은, 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 의해 송신되는 데이터의 한 예를 도시하는 설명도이다. 도 10의 A는, 화상 센서(100)가 도 5의 영역(3) 및 영역(4)에서의 겹침 부분의 데이터를 중복하여 송신시키지 않는 경우의 한 예를 나타내고 있다. 또한 도 10의 B는, 화상 센서(100)가 도 5의 영역(3) 및 영역(4)에서의 겹침 부분의 데이터를 중복하여 송신시키는 경우의 한 예를 나타내고 있다. 도 10의 B에서 부호 D로 표시된 부분이 영역(3) 및 영역(4)에서의 겹침 부분의 데이터에 해당한다.
또한 제1의 송신 방식에 의해 송신되는 데이터의 예는, 도 6에 도시하는 예로 한정되지 않는다. 도 11은, 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 의해 송신되는 데이터의 다른 예를 도시하는 설명도이다.
프레임은, 예를 들면, 프레임 헤더 영역과, 패킷 영역과, 프레임 푸터 영역으로 나누어진다.
프레임 헤더 영역에는, 프레임의 식별자의 역할을 다하는 프레임 번호가 포함된다. 또한 프레임 헤더 영역에는, 화상에 설정되는 영역수와, 부가 정보가 포함되어 있어도 좋다. 즉, 제1의 송신 방식에서는, 부가 정보는, "Embedded Data"로 송신되는 것으로 한정되지 않는다. 도 11에서는, 부가 정보로서 하기한 정보가 송신되는 예를 나타내고 있다.
·물리 영역 길이 : 예를 들면, 화상 센서 디바이스의 화소수
·출력 영역 길이 : 예를 들면, 화상 센서 디바이스로부터 출력되는 화상의 화소수(화상상의 길이)
·총 데이터량 : 예를 들면, 패킷 영역의 데이터량
·우선도 : 영역의 우선도
·센싱 정보 : 예를 들면, 영역에 포함되는 물체에 관한 연산 내용 등 영역에 대응하는 화상을 처리하기 위한 데이터
·AD어(word) 길이 정보 : ADC에서의 말길이(word length)
·노광 정보
·게인 정보
패킷 영역에서는, 도 6과 마찬가지로 영역 정보 및 영역 데이터가 행마다 송신된다.
프레임 푸터 영역에는, 부가 정보 등 프레임 헤더 영역과 같은 데이터가 포함될 수 있다.
도 11에 도시하는 예에서도, 도 6에 도시하는 예와 마찬가지로 영역 정보와 영역 데이터를 행마다 전송할 수 있다.
(1-2) 제1의 송신 방식의 특징, 이점
본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식은, 예를 들면 하기에 나타내는 특징을 갖는다. 또한 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식이 갖는 특징이 하기에 나타내는 예로 한정되지 않음은 말할 필요도 없다.
·EBD에 의해 부가 정보를 송신하고, 페이로드에 의해 설정된 영역에 대응하는 영역 정보를 송신한다
·영역 정보에 포함되는 정보 중, 변화점에 대응하는 정보만을 송신한다
·임의의 형상의 영역에 대응할 수 있다
또한 제1의 송신 방식에서는, 페이로드의 선두 부분에 격납되어 송신되는 영역 정보는, 예를 들면 하기한 특징을 갖는다. 또한 제1의 송신 방식에 관한 영역 정보가 갖는 특징이 하기에 나타내는 예로 한정되지 않음은 말할 필요도 없다.
·롱 패킷의 데이터 타입이 영역 전송용으로 2개 정의된다
·일방은, 영역 정보의 전송시에 이용된다(예를 들면, "0x38"를 나타내는 데이터)
·타방은, 영역 정보가 하나 전에 송신시키는 패킷에 포함되는 영역 정보와 동일한 경우에 이용된다(예를 들면, "0x39"를 나타내는 데이터)
·후술하는 제2의 송신 방식에 관한 쇼트 패킷과 달리, 단락이 없기 때문에 패러미터 전송 형식을 송신한다
·하나의 행에 동일한 영역이 복수 존재하는 경우, 존재하는 수만큼, 동일한 영역의 식별 정보를 송신함에 의해 하나의 행에 복수 존재하는 동일한 영역의 정보를 전송한다
·행의 위치를 나타내는 정보(Y)
·초기치0(제로)로 잉크리먼트된다
·소정의 순서에 따라 송신되지 않는 때(예를 들면 솎아낼 때)에 송신된다
·NO CHANGE 플래그
·영역의 식별 정보(ROI ID)의 MSB를 이용하여 송신한다
·영역의 식별 정보(I)
·영역이 증감할 때에 송신된다
·영역의 열의 위치, ROI 길이가 변경되는 경우에 송신한다
·영역의 열의 위치를 나타내는 정보(X)
·초기치 0(제로)
·변경할 때에 송신된다
·영역의 식별 정보와 세트로 송신된다
·영역의 크기를 나타내는 정보(L)
·최초에 송신되는 행에서는, 반드시 설정된다
·변경될 때에 송신된다
·영역의 식별 정보와 세트로 송신된다
또한 제1의 송신 방식은, 예를 들면 하기에 나타내는 이점을 갖는다.
·전송 효율이 높다
·이미 규정되어 있는 CSI-2 규격과 후방 호환성이 있다
·임의의 영역(ROI)의 형상을 전송 가능하다
(1-3) 제1의 송신 방식에 관한 구성례
다음에 상술한 제1의 송신 방식에 대응하는 화상 센서(100)의 구성의 한 예와, 제1의 송신 방식에 대응하는 프로세서(200)의 구성의 한 예(화상 센서(100)로부터 송신되는 데이터의 처리에 관한 구성의 한 예)를 나타낸다.
(1-3-1) 제1의 송신 방식에 대응하는 화상 센서(100)(송신 장치)의 구성
도 12는, 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 대응하는 화상 센서(100)의 구성의 한 예를 도시하는 하드웨어 블록도이다. 화상 센서(100)는 예를 들면, 화상 센서 디바이스(102)와, IC 칩(104)을 구비한다. 도 12에 도시하는 화상 센서(100)는 배터리 등의 통신 시스템(1000)을 구성하는 내부 전원(도시 생략)으로부터 공급되는 전력, 또는, 통신 시스템(1000)의 외부 전원으로부터 공급되는 전력에 의해 동작한다.
화상 센서 디바이스(102)는, 예를 들면, "디지털 스틸 카메라 등의 촬상 디바이스"나, "적외선 센서", "거리 화상 센서" 등의, 화상을 생성하는 것이 가능한 임의 방식의 화상 센서 디바이스이다.
한 예를 들면, 화상 센서 디바이스(102)로서 기능하는 촬상 디바이스는, 렌즈/촬상 소자와 신호 처리 회로를 포함하여 구성된다.
렌즈/촬상 소자는, 예를 들면, 광학계의 렌즈와, CMOS(Complementary Metal Oxide Semiconductor)나 CCD(Charge Coupled Device) 등의 촬상 소자를 복수 이용한 이미지 센서로 구성된다.
신호 처리 회로는, 예를 들면, AGC(Automatic Gain Control) 회로나 ADC(Analog to Digital Converter)를 구비하고, 촬상 소자에 의해 생성된 아날로그 신호를 디지털 신호(화상 데이터)로 변환한다. 또한 신호 처리 회로는, 예를 들면 RAW 현상에 관한 각종 처리를 행한다. 또한 신호 처리 회로는, 예를 들면, White Balance 보정 처리나, 색조 보정 처리, 감마 보정 처리, YCbCr 변환 처리, 에지 강조 처리 등 각종 신호 처리를 행하여도 좋다.
또한 신호 처리 회로는, 화상에 대한 영역의 설정에 관한 처리를 행하여, 영역 지정 정보를 IC 칩(104)에 전달하여도 좋다. 또한 신호 처리 회로는, 노광 정보나 게인 정보 등이 다양한 데이터를 IC 칩(104)에 전달하여도 좋다.
화상 센서 디바이스(102)에 의해 생성된 화상을 나타내는 신호는, IC 칩(104)에 전달된다. 또한 화상 센서 디바이스(102)로부터 IC 칩(104)에 전달되는 화상을 나타내는 신호가 아날로그 신호인 경우, IC 칩(104)은, 예를 들면, 구비하고 있는 ADC에서 아날로그 신호를 디지털 신호로 변환하고, 변환에 의해 얻어진 화상 데이터를 처리한다. 이하에서는, 화상 센서 디바이스(102)로부터 IC 칩(104)에 화상 데이터가 전달되는 경우를 예로 든다.
IC 칩(104)은, 제1의 송신 방식에 의한 데이터의 송신 기능에 관한 회로가 집적된 IC(Integrated Circuit)가 칩형상으로 형성된 것이고, 화상 센서 디바이스(102)로부터 전달된 화상 데이터를 처리하고, 생성된 화상에 대응하는 데이터를 송신한다. 화상에 대응하는 데이터란, 화상 센서 디바이스(102)로부터 전달된 화상 데이터(즉, 화상 전체를 나타내는 데이터), 또는, 영역 정보 및 영역 데이터이다. 또한 제1의 송신 방식에 의한 데이터의 송신 기능에 관한 회로는, 하나의 IC 칩의 형태로 실현되는 것으로 한정되지 않고, 복수의 IC 칩으로 형성되어 있어도 좋다.
IC 칩(104)은, 예를 들면, 화상 처리 회로(106)와, LINK 제어 회로(108)와, ECC 생성 회로(110)와, PH 생성 회로(112)와, EBD용 버퍼(114)와, 화상 데이터 버퍼(116)와, 합성 회로(118)와, 송신 회로(120)를 구비한다.
화상 처리 회로(106)는, 본 실시 형태에 관한 송신 방법에 관한 처리를 행하는 기능을 갖는 하나의 회로이다. 본 실시 형태에 관한 송신 방법에 관한 처리를 행하는 경우, 화상 처리 회로(106)는, 영역 정보를 화상에서의 행마다 설정하고, 설정된 영역 정보와 영역에 대응하는 영역 데이터를 LINK 제어 회로(108), ECC 생성 회로(110), PH 생성 회로(112), EBD용 버퍼(114), 화상 데이터 버퍼(116), 합성 회로(118), 송신 회로(120)에 의해 행마다 제1의 송신 방식으로 송신시킨다. 또한 화상 처리 회로(106)는, 화상 센서 디바이스(102)로부터 전달되는 화상 데이터(즉, 화상 전체를 나타내는 데이터)를 행마다 송신시키는 것도 가능하다.
화상 처리 회로(106)로서는, 예를 들면 MPU 등의 프로세서를 들 수 있다.
화상 처리 회로(106)가 갖는 기능을 기능 블록으로 나누어서 설명한다. 도 12에 도시하는 바와 같이 화상 처리 회로(106)는, 예를 들면, 영역 절출부(122)와, 화상 처리 제어부(124)와, 인코드부(126)를 갖는다.
영역 절출부(122)는, 화상에 대한 영역의 설정에 관한 처리를 행한 역할을 다하고, 화상 센서 디바이스(102)로부터 전달되는 화상 데이터가 나타내는 화상에 대해, 영역(ROI)을 설정한다. 영역 절출부(122)는, 예를 들면, 설정되어 있는 동작 모드에 응하여, 화상에 대한 영역의 설정에 관한 처리를 행한다. 예를 들면, 영역 절출부(122)는, 동작 모드가 영역 데이터를 송신하는 동작 모드인 경우에 화상에 대한 영역의 설정에 관한 처리를 행한다. 또한 영역 절출부(122)는, 동작 모드가 화상 전체를 나타내는 데이터를 송신하는 동작 모드인 경우에는, 화상에 대한 영역의 설정에 관한 처리를 행하지 않는다.
영역 절출부(122)는, 예를 들면, 화상에 대해 임의의 물체 검출 처리를 행하여 물체를 검출하고, 검출된 물체마다, 검출된 물체를 포함하는 영역을 설정한다. 또한 영역 절출부(122)는, 임의의 조작 디바이스에 대한 조작 등에 의해 지정된 영역을 설정하여도 좋다. 영역 절출부(122)가 설정하는 영역으로서는, 예를 들면, 도 5에 도시하는 영역(1)에 나타내는 바와 같은 사각형의 영역과, 도 5의 영역(2), 영역(3) 및 영역(4)과 같은, 화상에 대해 설정되는 사각형 이외의 임의의 형상의 영역이 포함될 수 있다.
영역이 설정된 경우, 영역 절출부(122)는, 예를 들면, 설정된 영역을 나타내는 영역 지정 정보를 화상 처리 제어부(124)에 전달한다. 또한 영역이 설정되지 않은 경우, 영역 절출부(122)는, 영역 지정 정보를 화상 처리 제어부(124)에 전달하지 않는다.
또한 영역 절출부(122)는, 화상 센서 디바이스(102)로부터 전달되는 화상 데이터를 인코드부(126)에 전달한다.
화상 처리 제어부(124)는, 본 실시 형태에 관한 송신 방법에 관한 처리를 행하는 역할을 다하고, 영역 정보를 화상에서의 행마다 설정하고, 설정된 영역 정보를 인코드부(126)와 PH 생성 회로(112)에 전달한다.
화상 처리 제어부(124)는, 예를 들면, 영역 절출부(122)로부터 취득되는 영역 지정 정보, 또는, 외부 장치로부터 취득되는 영역 지정 정보(도시 생략)에 의거하여 화상에서의 각 행에 포함되는 영역을 특정한다. 그리고, 화상 처리 제어부(124)는, 특정된 영역에 의거하여 행마다 영역 정보를 설정한다. 이때, 화상 처리 제어부(124)는, 상술한 예외 처리에 나타내는 바와 같이 하나 전에 송신시키는 행의 영역 정보에 포함되는 정보로부터 변화하지 않는 정보는, 영역 정보에 설정하지 않아도 좋다.
또한 영역 지정 정보가 취득되지 않은 경우, 화상 처리 제어부(124)는, 영역 정보를 설정하지 않는다.
또한 화상 처리 제어부(124)에서의 처리는, 상기에 나타내는 예로 한정되지 않는다.
예를 들면, 화상 처리 제어부(124)는, 예를 들면, 프레임 정보를 생성하고, 생성한 프레임 정보를 LINK 제어 회로(108)에 전달하여도 좋다. 프레임 정보로서는, 예를 들면, 프레임마다 부여되는 VC의 번호를 들 수 있다. 또한 프레임 정보에는, YUV 데이터, RGB 데이터 또는 RAW 데이터 등의 데이터 타입을 나타내는 데이터가 포함되어 있어도 좋다.
또한 예를 들면, 화상 처리 제어부(124)는, 부가 정보를 설정하는 처리를 행하고, 설정되는 부가 정보를 EBD용 버퍼(114)에 전달하여도 좋다.
부가 정보를 설정하는 처리로서는, 예를 들면 부가 정보를 생성하는 처리를 들 수 있다. 부가 정보를 생성하는 처리로서는, 예를 들면, 영역의 데이터량을 나타내는 정보를 생성하는 처리, 영역의 크기를 나타내는 정보를 생성하는 처리 및 영역의 우선도를 나타내는 정보를 생성하는 처리 중의 1 또는 2 이상을 들 수 있다.
또한 부가 정보를 설정하는 처리는, 부가 정보를 생성하는 처리로 한정되지 않는다. 예를 들면, 화상 처리 제어부(124)는, 노광 정보나 게인 정보 등의 화상 센서 디바이스(102)로부터 취득된 정보를 부가 정보로서 설정하여도 좋다. 또한 화상 처리 제어부(124)는, 예를 들면, 물리 영역 길이를 나타내는 데이터, 출력 영역 길이를 나타내는 데이터, 화상 포맷을 나타내는 데이터, 데이터 총량을 나타내는 데이터 등의, 다양한 영역에 관한 데이터를 부가 정보로서 설정하여도 좋다.
인코드부(126)는, 예를 들면, 화상 센서 디바이스(102)로부터 전달되는 화상 데이터를 예를 들면 JPEG(Joint Photographic Experts Group) 규격에 대응하는 방식 등의 소정의 방식으로 인코드한다.
화상 처리 제어부(124)로부터 영역 정보가 취득되지 않은 경우, 인코드부(126)는, 인코드된 화상 데이터를 화상 데이터 버퍼(116)에 전달한다. 이하에서는, 인코드된 화상 데이터, 즉, 인코드된 화상 전체를 나타내는 데이터를 「통상 데이터」로 나타내는 경우가 있다.
또한 화상 처리 제어부(124)로부터 영역 정보가 취득되는 경우, 인코드부(126)는, 취득된 영역 정보와, 영역에 대응하는 인코드된 영역 데이터를 화상 데이터 버퍼(116)에 전달한다.
화상 처리 회로(106)는, 예를 들면, 영역 절출부(122), 화상 처리 제어부(124) 및 인코드부(126)를 가짐에 의해 본 실시 형태에 관한 송신 방법에 관한 처리를 행한다. 또한 도 12에 도시하는 화상 처리 회로(106)의 기능 블록은, 화상 처리 회로(106)가 갖는 기능을 편의상 잘라 나눈 것이고, 화상 처리 회로(106)에서의 기능의 잘라 나누는 방식은, 도 12에 도시하는 예로 한정되지 않는다.
LINK 제어 회로(108)는, 예를 들면, 프레임 정보를 행마다 ECC 생성 회로(110), PH 생성 회로(112) 및 합성 회로(118)에 전달한다.
ECC 생성 회로(110)는, 행마다 오류 정정 부호를 설정한다. ECC 생성 회로(110)는, 예를 들면, 프레임 정보에서의 1행의 데이터(예를 들면, VC의 번호, 데이터 타입 등)에 의거하여 그 행의 오류 정정 부호를 생성한다. ECC 생성 회로(110)는, 예를 들면, PH 생성 회로(112), EBD용 버퍼(114), 화상 데이터 버퍼(116) 및 합성 회로(118) 각각과 접속된다. 그리고, ECC 생성 회로(110)는, 생성한 오류 정정 부호를 PH 생성 회로(112), EBD용 버퍼(114), 화상 데이터 버퍼(116) 및 합성 회로(118) 각각에 전달한다. 또한 ECC 생성 회로(110)는, PH 생성 회로(112) 등과 연휴하여 오류 정정 부호를 생성하여도 좋다.
PH 생성 회로(112)는, 프레임 정보를 이용하여, 행마다 패킷 헤더를 생성한다.
PH 생성 회로(112)는, 화상 처리 회로(106)(도 12의 예에서는, 화상 처리 제어부(124))로부터 전달되는 영역 정보에 의거하여 패킷 헤더를 생성하여도 좋다. 구체적으로는, PH 생성 회로(112)는, 영역 정보에 의거하여 상술한 바와 같은 "영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 영역 정보로부터 변화하고 있는지의 여부를 나타내는 데이터"(변화 정보)를 패킷 헤더에 설정한다.
EBD용 버퍼(114)는, 화상 처리 회로(106)(도 12의 예에서는, 화상 처리 제어부(124))로부터 전달되는 부가 정보를 일시적으로 유지하는 버퍼이다. EBD용 버퍼(114)는, 소정의 타이밍에서 부가 정보를 "EmbeddedData"로서 합성 회로(118)에 출력하다. 또한 EBD용 버퍼(114)로부터 출력되는 "EmbeddedData"는, 후술하는 화상 데이터 버퍼(116)를 경유하여 합성 회로(118)에 전달되어도 좋다.
화상 데이터 버퍼(116)는, 화상 처리 회로(106)(도 12의 예에서는, 인코드부(126))로부터 전달되는 데이터(통상 데이터, 또는, 영역 정보 및 영역 데이터)를 일시적으로 유지하는 버퍼이다. 화상 데이터 버퍼(116)는, 유지하고 있고 있는 데이터를 소정의 타이밍에서 행마다 합성 회로(118)에 출력한다.
합성 회로(118)는, 예를 들면, ECC 생성 회로(110), PH 생성 회로(112), EBD용 버퍼(114) 및 화상 데이터 버퍼(116) 각각으로부터 취득되는 데이터에 의거하여 전송하는 패킷을 생성한다.
송신 회로(120)는, 합성 회로(118)로부터 전달되는 패킷을 행마다 데이터 버스(B1)(신호의 전송로의 한 예. 이하, 마찬가지라고 한다.)를 통하여 송신한다. 예를 들면 송신 회로(120)는, 도 4에 도시하는 바와 같은 고속 차동 신호에 의해 패킷을 송신한다.
예를 들면 도 5에 도시하는 영역(1), 영역(2), 영역(3) 및 영역(4)이 설정된 경우, 송신 회로(120)는, 도 9에 도시하는 바와 같이 설정된 영역 정보와 영역에 대응하는 영역 데이터를 행마다 롱 패킷으로 송신한다.
또한 영역이 설정되지 않은 경우, 즉, 화상 데이터 버퍼(116)로부터 통상 데이터가 출력되는 경우에는, 송신 회로(120)는, 각 행에 대응하는 데이터가 페이로드에 격납된 롱 패킷을 행마다 송신하다. 또한 이 경우에서도, 송신 회로(120)는, 부가 정보를 "EmbeddedData"로서 송신하는 것이 가능하다.
제1의 송신 방식에 대응하는 화상 센서(100)는 예를 들면 도 12에 도시하는 하드웨어 구성을 갖는다. 또한 제1의 송신 방식에 대응하는 화상 센서(100)의 하드웨어 구성이 도 12에 도시하는 예로 한정되지 않음은 말할 필요도 없다.
(1-3-2) 제1의 송신 방식에 대응하는 프로세서(200)(수신 장치)의 구성
도 13은, 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 대응하는 프로세서(200)의 구성의 한 예를 도시하는 기능 블록도이다. 도 13에서는, 편의상, 화상 센서(100)만을 아울러서 도시하고 있다. 프로세서(200)는 예를 들면, 헤더 분리부(202)와, 헤더 해석부(204)와, 페이로드 분리부(206)와, 화상 처리부(208)와, 연산부(210)와, 송신부(212)를 갖는다.
헤더 분리부(202)는, 수신된 데이터로부터, 헤더 부분에 대응하는 헤더 데이터와, 페이로드 부분에 대응하는 페이로드 데이터를 분리한다. 헤더 분리부(202)는, 예를 들면, 규격 등으로 미리 규정된 룰에 따라, 수신된 데이터로부터 헤더 데이터를 분리한다. 또한 헤더 분리부(202)는, 예를 들면, 규격 등으로 미리 규정된 룰에 따라, 수신된 데이터로부터 페이로드 데이터를 분리하여도 좋고, 헤더 해석부(204)의 처리의 결과에 의거하여 수신된 데이터로부터 페이로드 데이터를 분리하여도 좋다.
헤더 해석부(204)는, 헤더 데이터가 나타내는 내용을 해석한다.
한 예를 들면, 헤더 해석부(204)는, 예를 들면, 헤더 데이터가 "0x38"를 나타내는 경우, 영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 영역 정보로부터 변화하고 있다고 해석한다. 또한 이 경우, 헤더 해석부(204)는, 페이로드 데이터에 영역 정보가 포함되어 있다고 해석하여도 좋다.
다른 예를 들면, 헤더 해석부(204)는, 예를 들면, 헤더 데이터가 "0x39"를 나타내는 경우, 영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 영역 정보로부터 변화하고 있지 않다고 해석한다. 또한 이 경우, 헤더 해석부(204)는, 페이로드 데이터에 영역 정보가 포함되지 않는다고 해석하여도 좋다.
또한 헤더 해석부(204)에서의 처리의 예는, 상기에 나타내는 예로 한정되지 않는다. 예를 들면, 헤더 해석부(204)는, 페이로드 데이터의 위치를 특정하고, 특정한 위치를 헤더 분리부(202)에 전달하여도 좋다. 또한 헤더 해석부(204)는, 페이로드 데이터가 "Embedded Data"인지를 해석하는 것도 가능하다.
페이로드 분리부(206)는, 헤더 해석부(204)에서의 해석 결과에 의거하여 페이로드 데이터로부터, 부가 정보, 영역 정보 및 화상 데이터(통상 데이터 또는 영역 데이터. 이하, 도 13의 설명에는 마찬가지라고 한다.)를 분리한다.
예를 들면, 헤더 해석부(204)에서 페이로드 데이터가 "Embedded Data"라고 해석된 경우, 페이로드 분리부(206)는, 페이로드 데이터를 부가 정보라고 한다.
또한 헤더 해석부(204)에서 페이로드 데이터가 "Embedded Data"라고 해석되지 않은 경우, 페이로드 분리부(206)는, 페이로드 데이터로부터, 영역 정보와 화상 데이터를 분리한다. 예를 들면 도 6, 도 8, 도 9를 참조하여 설명한 바와 같이 영역 정보와 영역 데이터는 페이로드에 격납되고, 또한 영역 정보는, 페이로드의 선두 부분에 격납된다. 또한 화상 센서(100)로부터 통상 데이터가 송신되는 경우, 페이로드에는 영역 정보는 격납되지 않는다. 따라서, 페이로드 분리부(206)는, 페이로드를 선두 부분부터 처리함에 의해 영역 정보와 화상 데이터를 분리할 수 있다.
화상 처리부(208)는, 페이로드 분리부(206)로부터 전달된 부가 정보, 영역 정보 및 화상 데이터에 의거하여 행마다의 화상 데이터를 처리하여, 영역에 대응하는 화상을 나타내는 데이터, 또는, 화상 전체를 나타내는 데이터를 얻는다.
화상 처리부(208)는, 예를 들면, 페이로드 분리부(206)로부터 전달되는 정보에 의거하여 데이터 버스(B1)를 통하여 취득된 데이터가 영역에 대응하는 화상을 나타내는 데이터인지, 또는, 화상 전체를 나타내는 데이터인지를 판정하고, 판정 결과에 응한 처리 모드로 처리를 행하여도 좋다.
예를 들면, 화상 처리부(208)는, 어느 프레임의 화상을 대상으로 하는 처리를 최초에 행할 때(즉, 최초의 행에 대응하는 처리를 행할 때)에 영역 정보가 전달되는 경우에 데이터 버스(B1)를 통하여 취득된 데이터가 영역에 대응하는 화상을 나타내는 데이터라고 판정한다. 그리고, 화상 처리부(208)는, 영역 데이터를 처리하는 처리 모드로 이행하여, 행마다의 영역 정보 및 영역 데이터에 의거하여 영역에 대응하는 화상을 나타내는 데이터를 얻는다.
예를 들면, 화상 처리부(208)는, 어느 프레임의 화상을 대상으로 하는 처리를 최초에 행할 때에 영역 정보가 전달되지 않는 경우에 데이터 버스(B1)를 통하여 취득된 데이터가 화상 전체를 나타내는 데이터라고 판정한다. 그리고, 화상 처리부(208)는, 통상의 처리 모드(통상 데이터를 처리하는 처리 모드)로 이행하고, 행마다의 통상 데이터에 의거하여 화상 전체를 나타내는 데이터를 얻는다.
또한 데이터 버스(B1)를 통하여 취득된 데이터의 판정 방법은, 상기에 나타내는 예로 한정되지 않는다. 예를 들면, 화상 처리부(208)는, 영역에 관한 정보(예를 들면, 영역의 데이터량을 나타내는 정보, 영역의 크기를 나타내는 정보 및 영역의 우선도를 나타내는 정보 중의, 1 또는 2 이상)가 부가 정보로서 전달된 경우에 데이터 버스(B1)를 통하여 취득된 데이터가 영역에 대응하는 화상을 나타내는 데이터라고 판정하여도 좋다.
화상 처리부(208)는, 예를 들면, 디코드부(214)와, 화상 생성부(216)를 갖는다.
디코드부(214)는, 예를 들면, 화상 센서(100)에서 인코드에 대응하는 소정의 방식으로 화상 데이터를 디코드한다. 이때, 디코드부(214)는, 부가 정보에 의거하여 처리의 내용을 바꾸어도 좋다.
화상 생성부(216)는, 영역 정보에 의거하여 디코드부(214)에 의해 디코드된 행마다의 화상 데이터로부터, 영역에 대응하는 화상을 나타내는 데이터, 또는, 화상 전체를 나타내는 데이터를 생성한다.
예를 들면, 화상 생성부(216)는, 어느 프레임의 화상을 대상으로 하는 처리를 최초에 행할 때에 영역 정보가 전달되는 경우에 디코드부(214)로부터 전달되는 화상 데이터가 영역 데이터라고 판정한다. 그리고, 영역 데이터라고 판정된 경우에는, 화상 생성부(216)는, 영역 정보에 의거하여 행마다의 영역 데이터를 영역마다 나눈다. 여기서, 화상 생성부(216)가 처리에 이용하는 영역 정보에는, 처리 대상의 행에 대응하는 영역 정보와, 이미 처리를 행한 행에 대응하는 영역 정보가 포함될 수 있다.
여기서, 영역 정보에는, 기본적으로 행의 위치를 나타내는 정보, 행에 포함되는 영역의 식별 정보, 행에 포함되는 영역의 열의 위치를 나타내는 정보 및 행에 포함되는 영역의 크기를 나타내는 정보가 포함되기 때문에 화상 생성부(216)는, 각 행에 포함되는 영역 데이터를 일의적으로 특정할 수 있다. 따라서, 화상 생성부(216)는, 어느 프레임의 화상에 설정되는 영역에 대응하는 화상을 나타내는 데이터를 영역마다 생성할 수 있다.
또한 화상 생성부(216)는, 어느 프레임의 화상을 대상으로 하는 처리를 최초에 행할 때에 영역 정보가 전달되지 않는 경우에는, 전달된 화상 데이터가 통상 데이터라고 판단한다. 통상 데이터라고 판정된 경우, 화상 생성부(216)는, 디코드부(214)로부터 전달된 행마다의 화상 데이터로부터, 화상 전체를 나타내는 데이터를 생성한다.
화상 처리부(208)는, 예를 들면 디코드부(214)와 화상 생성부(216)를 가짐에 의해 영역에 대응하는 화상을 나타내는 데이터, 또는, 화상 전체를 나타내는 데이터를 얻는다.
연산부(210)는, 예를 들면, 화상 처리부(208)에서 얻어진 화상 데이터에 의거한 처리를 행한다. 화상 처리부(208)에서 얻어진 화상 데이터로서는, 예를 들면, 화상 전체를 나타내는 화상 데이터, 영역에 대응하는 화상을 나타내는 화상 데이터, 또는, 화상 전체가 축소된 화상을 나타내는 화상 데이터 등을 들 수 있다.
화상 처리부(208)에서 얻어진 화상 데이터에 의거한 처리로서는, 예를 들면, 메모리(300) 등의 기록 매체에의 화상 데이터의 기록 제어에 관한 처리나, 표시 디바이스(400)의 표시 화면에의 화상의 표시 제어에 관한 처리 등을 들 수 있다.
또한 연산부(210)에서의 처리는, 상기에 나타내는 예로 한정되지 않는다. 예를 들면 상술한 바와 같이 연산부(210)는, 화상에 대한 영역의 설정에 관한 처리 등 다양한 처리를 행하는 것이 가능하다.
연산부(210)에서 화상에 대한 영역의 설정에 관한 처리의 한 예를 들면, 연산부(210)는, 화상 처리부(208)에서 얻어진 화상 데이터에 대해, 특징점 추출에 관한 연산, 움직임 추출에 관한 연산, 기계 학습에 의한 연산 등의, 다양한 연산을 행함에 의해 영역을 설정한다. 또한 연산부(210)는, 설정한 영역에 대응하는 영역 지정 정보를 생성한다. 또한 연산부(210)에서의 화상에 대한 영역의 설정에 관한 처리의 예가 상기에 나타내는 예로 한정되지 않음은 말할 필요도 없다.
송신부(212)는, 각종 데이터(예를 들면, 화상 데이터, 제어 정보 등)를 제어 버스(B2)나 각종 신호선 등을 통하여, 외부 장치에 송신한다. 송신부(212)로서는, 예를 들면, 프로세서(200)가 구비한 I2C(Inter Integrated Circuits)나 I3C(Improved Inter Integrated Circuits) 등 소정의 규격에 따른 통신 디바이스를 들 수 있다.
송신부(212)에서의 통신은, 예를 들면 연산부(210)에 의해 제어된다. 연산부(210)가 송신부(212)에 화상 데이터를 송신시킴에 의해 예를 들면, 메모리(300) 등의 기록 매체에의 화상 데이터의 기록, 표시 디바이스(400)의 표시 화면에의 화상의 표시가 실현된다. 또한 연산부(210)가 송신부(212)에 영역 지정 정보를 포함하는 제어 정보를 제어 버스(B1)를 통하여 화상 센서(100)에 대해 송신시킴에 의해 화상 센서(100)에의 설정된 영역을 나타내는 영역 지정 정보의 송신이 실현된다.
프로세서(200)는 예를 들면, 헤더 분리부(202), 헤더 해석부(204), 페이로드 분리부(206), 화상 처리부(208), 연산부(210) 및 송신부(212)를 가짐에 의해 화상 센서(100)로부터 수신한 데이터에 의거하여 영역에 대응하는 화상을 나타내는 데이터, 또는, 화상 전체를 나타내는 데이터를 얻을 수 있다. 또한 도 13에 도시하는 프로세서(200)의 기능 블록은, 프로세서(200)가 갖는 기능을 편의상 잘라 나눈 것이고, 프로세서(200)에서의 기능의 잘라 나누는 방식은, 도 13에 도시하는 예로 한정되지 않는다. 또한 외부 장치에 각종 데이터를 송신하는 기능을 갖지 않는 경우, 프로세서(200)는 송신부(212)를 갖지 않아도 좋다.
(2) 제2의 송신 방식
(2-1) 제2의 송신 방식에 관한 처리
화상 센서(100)는 영역 데이터를 제1의 패킷의 페이로드에 격납하고, 영역 정보에 포함되는 정보 각각을 제1의 패킷과 다른 제2의 패킷에 각각 격납한다. 그리고, 화상 센서(100)는 제1의 패킷 및 제2의 패킷을 행마다 송신시킨다.
제2의 송신 방식에 관한 제1의 패킷으로서는, MIPI의 롱 패킷을 들 수 있고, 제2의 송신 방식에 관한 제2의 패킷으로서는, MIPI의 쇼트 패킷을 들 수 있다. 또한 본 실시 형태에 관한 제1의 패킷 및 제2의 패킷의 예는, 상기에 나타내는 예로 한정되지 않는다. 본 실시 형태에 관한 제1의 패킷 및 제2의 패킷의 다른 예에 관해서는 후술하는 제3의 송신 방식에 나타낸다. 이하에 나타내는 제2의 송신 방식에서는, 제1의 패킷이 MIPI의 롱 패킷이고, 제2의 패킷이 MIPI의 쇼트 패킷인 경우를 예로 든다.
도 14는, 본 실시 형태에 관한 송신 방법에 관한 제2의 송신 방식에 의해 송신되는 데이터의 한 예를 도시하는 설명도이다. 도 14는, "도 5에 도시하는 영역(1), 영역(2), 영역(3) 및 영역(4) 각각에 대응하는 영역 정보에 포함되는 정보 각각이 도 2에 도시하는 MIPI의 쇼트 패킷에 의해 행마다 송신되는 예"를 나타내고 있다. 또한 도 14는, "도 5에 도시하는 영역(1), 영역(2), 영역(3) 및 영역(4) 각각에 대응하는 영역 데이터가 도 3에 도시하는 MIPI의 롱 패킷의 페이로드에 격납하고, 행마다 송신되는 예"를 나타내고 있다.
도 14에 도시하는 "Y"는, 행의 위치를 나타내는 정보가 격납된 쇼트 패킷을 나타내고 있다. 도 14에 도시하는 "I1", "I2", "I3", "I4"는, 도 5에 도시하는 영역(1), 영역(2), 영역(3) 및 영역(4) 각각에 대응하는 영역의 식별 정보가 격납되는, 쇼트 패킷을 나타내고 있다. 도 14에 도시하는 "X1", "X2", "X3", "X4"는, 도 5에 도시하는 영역(1), 영역(2), 영역(3) 및 영역(4) 각각에 대응하는 영역의 열의 위치를 나타내는 정보가 격납되는, 쇼트 패킷을 나타내고 있다. 도 14에 도시하는 "L1", "L2", "L3", "L4"는, 도 5에 도시하는 영역(1), 영역(2), 영역(3) 및 영역(4) 각각에 대응하는 영역의 크기를 나타내는 정보가 격납되는, 쇼트 패킷을 나타내고 있다.
도 6에 도시하는 바와 같이 상술한 상기 (1)에 나타내는 제1의 송신 방식이 이용되는 경우, 영역 정보와 영역 데이터는, 예를 들면 MIPI의 롱 패킷 등의 하나의 패킷의 페이로드에 격납되고, 행마다 송신된다.
이에 대해, 도 14에 도시하는 바와 같이 제2의 송신 방식이 이용되는 경우, 영역 정보와 영역 데이터는 다른 패킷에 나누어 격납되고, 행마다 송신된다.
또한 도 14에 도시하는 바와 같이 제2의 송신 방식이 이용되는 경우에서도, 제1의 송신 방식이 이용되는 경우와 마찬가지로 "Embedded Data"를 송신하는 것이 가능하다. 즉, 화상 센서(100)는 영역의 데이터량을 나타내는 정보, 영역의 크기를 나타내는 정보 및 영역의 우선도를 나타내는 정보 중의 1 또는 2 이상(부가 정보의 한 예)을 도 14에 도시하는 "Embedded Data"로서 송신할 수 있다.
또한 제2의 송신 방식이 이용되는 경우, 화상 센서(100)는 제1의 송신 방식이 이용되는 경우와 마찬가지로 겹침 부분의 데이터를 중복하여 송신시키는지를 판정하고, 판정 결과에 응하여 겹침 부분의 데이터를 중복하여 송신시켜도 좋다.
(2-2) 제2의 송신 방식의 특징, 이점
본 실시 형태에 관한 송신 방법에 관한 제2의 송신 방식은, 예를 들면 하기에 나타내는 특징을 갖는다. 또한 본 실시 형태에 관한 송신 방법에 관한 제2의 송신 방식이 갖는 특징이 하기에 나타내는 예로 한정되지 않음은 말할 필요도 없다.
·EBD에 의해 부가 정보를 송신하고, 쇼트 패킷에 의해 설정된 영역에 대응하는 영역 정보를 송신한다
·영역 정보에 포함되는 정보 중, 변화점에 대응하는 정보만을 송신한다
·임의의 형상의 영역에 대응할 수 있다
또한 제2의 송신 방식에서는, 쇼트 패킷에 의해 송신된 영역 정보는, 예를 들면 하기한 특징을 갖는다. 또한 제2의 송신 방식에 관한 영역 정보가 갖는 특징이 하기에 나타내는 예로 한정되지 않음은 말할 필요도 없다.
·하나의 행에 동일한 영역이 복수 존재하는 경우, 존재하는 수만큼, 동일한 영역의 식별 정보를 송신함에 의해 하나의 행에 복수 존재하는 동일한 영역의 정보를 전송한다
·행의 위치를 나타내는 정보(Y)
·초기치0(제로)로 잉크리먼트된다
·소정의 순서에 따라 송신되지 않는 때(예를 들면 솎아낼 때)에 송신된다
·영역의 식별 정보(I)
·영역이 증감할 때에 송신된다
·영역의 열의 위치, ROI 길이가 변경되는 경우에 송신한다
·영역의 열의 위치를 나타내는 정보(X)
·초기치 0(제로)
·변경할 때에 송신된다
·영역의 식별 정보와 세트로 송신된다
·영역의 크기를 나타내는 정보(L)
·최초에 송신되는 행에서는, 반드시 설정된다
·변경될 때에 송신된다
·영역의 식별 정보와 세트로 송신된다
·변경이 있어도 1행에 하나밖에 영역이 없는 경우는, 생략되어도 좋다(롱 패킷의 페이로드 길이가 ROI 길이와 동일하게 되기 때문)
또한 제2의 송신 방식은, 예를 들면 하기에 나타내는 이점을 갖는다.
·영역 정보의 오류 정정이 가능하다
·이미 규정되어 있는 CSI-2 규격과 후방 호환성이 있다
·임의의 영역(ROI)의 형상을 전송 가능하다
(2-3) 제2의 송신 방식에 관한 구성례
다음에 상술한 제2의 송신 방식에 대응하는 화상 센서(100)의 구성의 한 예와, 제2의 송신 방식에 대응하는 프로세서(200)의 구성의 한 예(화상 센서(100)로부터 송신된 데이터의 처리에 관한 구성의 한 예)를 나타낸다.
(2-3-1) 제2의 송신 방식에 대응하는 화상 센서(100)(송신 장치)의 구성
도 15는, 본 실시 형태에 관한 송신 방법에 관한 제2의 송신 방식에 대응하는 화상 센서(100)의 구성의 한 예를 도시하는 하드웨어 블록도이다. 화상 센서(100)는 예를 들면, 화상 센서 디바이스(102)와, IC 칩(150)을 구비한다. 도 15에 도시하는 화상 센서(100)는 도 12에 도시하는 화상 센서(100)와 마찬가지로 통신 시스템(1000)을 구성하는 내부 전원(도시 생략)으로부터 공급되는 전력 등에 의해 동작한다.
도 15에 도시하는 화상 센서 디바이스(102)는, 도 12에 도시하는 화상 센서 디바이스(102)와 같은 기능, 구성을 갖는다.
IC 칩(150)은, 제2의 송신 방식에 의한 데이터의 송신 기능에 관한 회로가 집적된 IC가 칩형상으로 형성된 것이고, 화상 센서 디바이스(102)로부터 전달되는 화상 데이터를 처리하고, 생성된 화상에 대응하는 데이터를 송신하다. 또한 제2의 송신 방식에 의한 데이터의 송신 기능에 관한 회로는, 하나의 IC 칩의 형태로 실현되는 것으로 한정되지 않고, 복수의 IC 칩으로 형성되어 있어도 좋다.
IC 칩(150)은, 예를 들면, 화상 처리 회로(152)와, LINK 제어 회로(108)와, ECC 생성 회로(110)와, PH 생성 회로(154)와, EBD용 버퍼(114)와, 화상 데이터 버퍼(116)와, 합성 회로(156)와, 송신 회로(120)를 구비한다.
도 15에 도시하는 LINK 제어 회로(108), ECC 생성 회로(110), EBD용 버퍼(114), 화상 데이터 버퍼(116) 및 송신 회로(120) 각각은, 도 12에 도시하는 LINK 제어 회로(108), ECC 생성 회로(110), EBD용 버퍼(114), 화상 데이터 버퍼(116) 및 송신 회로(120)와 같은 기능, 구성을 갖는다.
화상 처리 회로(152)는, 본 실시 형태에 관한 송신 방법에 관한 처리를 행하는 기능을 갖는 하나의 회로이다. 본 실시 형태에 관한 송신 방법에 관한 처리를 행하는 경우, 화상 처리 회로(152)는, 영역 정보를 화상에서의 행마다 설정하고, 설정된 영역 정보와 영역에 대응하는 영역 데이터를 LINK 제어 회로(108), ECC 생성 회로(110), PH 생성 회로(154), EBD용 버퍼(114), 화상 데이터 버퍼(116), 합성 회로(156), 송신 회로(120)에 의해 행마다 제2의 송신 방식으로 송신시킨다. 또한 화상 처리 회로(152)는, 화상 센서 디바이스(102)로부터 전달되는 화상 데이터(즉, 화상 전체를 나타내는 데이터)를 행마다 송신시키는 것도 가능하다.
화상 처리 회로(152)로서는, 예를 들면 MPU 등의 프로세서를 들 수 있다.
화상 처리 회로(152)가 갖는 기능을 기능 블록으로 나누어서 설명한다. 도 15에 도시하는 바와 같이 화상 처리 회로(152)는, 예를 들면, 영역 절출부(122)와, 화상 처리 제어부(124)와, 인코드부(158)를 갖는다.
도 15에 도시하는 영역 절출부(122) 및 화상 처리 제어부(124)의 기능은, 도 12에 도시하는 영역 절출부(122) 및 화상 처리 제어부(124)와 마찬가지이다.
인코드부(158)는, 도 12에 도시하는 인코드부(126)와 마찬가지로 화상 센서 디바이스(102)로부터 전달된 화상 데이터를 소정의 방식으로 인코드한다.
화상 처리 제어부(124)로부터 영역 정보가 취득되지 않은 경우, 인코드부(158)는, 도 12에 도시하는 인코드부(126)와 마찬가지로 인코드된 화상 데이터를 화상 데이터 버퍼(116)에 전달한다.
또한 화상 처리 제어부(124)로부터 영역 정보가 취득되는 경우, 인코드부(158)는, 취득된 영역 정보에 의거하여 영역을 특정하고, 특정된 영역에 대응하는 인코드된 영역 데이터를 화상 데이터 버퍼(116)에 전달한다.
화상 처리 회로(152)는, 예를 들면, 영역 절출부(122), 화상 처리 제어부(124) 및 인코드부(158)를 가짐에 의해 본 실시 형태에 관한 송신 방법에 관한 처리를 행한다. 또한 도 15에 도시하는 화상 처리 회로(152)의 기능 블록은, 화상 처리 회로(152)가 갖는 기능을 편의상 잘라 나눈 것이고, 화상 처리 회로(152)에서의 기능의 잘라 나누는 방식은, 도 15에 도시하는 예로 한정되지 않는다.
PH 생성 회로(154)는, 화상 처리 회로(152)(도 15의 예에서는, 화상 처리 제어부(124))로부터 전달되는 영역 정보에 의거하여 영역 정보에 포함되는 정보 각각이 격납되는 쇼트 패킷을 생성한다.
또한 PH 생성 회로(154)는, 도 12에 도시하는 PH 생성 회로(112)와 마찬가지로 프레임 정보를 이용하여, 행마다 롱 패킷의 패킷 헤더를 생성한다.
합성 회로(156)는, ECC 생성 회로(110), PH 생성 회로(154), EBD용 버퍼(114) 및 화상 데이터 버퍼(116) 각각으로부터 취득되는 데이터에 의거하여 "영역 정보가 격납된 쇼트 패킷" 및 "행마다의 화상 데이터(통상 데이터 또는 영역 데이터)가 페이로드에 격납된 롱 패킷"를 전송하는 패킷으로서 생성한다.
송신 회로(120)는, 합성 회로(156)로부터 전달되는 패킷을 행마다 데이터 버스(B1)를 통하여 송신한다.
예를 들면 도 5에 도시하는 영역(1), 영역(2), 영역(3) 및 영역(4)이 설정된 경우, 송신 회로(120)는, 도 14에 도시하는 바와 같이 영역 정보에 포함되는 정보 각각을 쇼트 패킷에 격납하고, 영역 데이터를 롱 패킷의 페이로드에 격납하여, 행마다 송신시킨다.
또한 영역이 설정되지 않은 경우, 즉, 화상 데이터 버퍼(116)로부터 통상 데이터가 출력되는 경우에는, 송신 회로(120)는, 도 12에 도시하는 송신 회로(120)와 마찬가지로 각 행에 대응하는 데이터가 페이로드에 격납된 롱 패킷을 행마다 송신한다. 또한 이 경우에서도, 송신 회로(120)는, 도 12에 도시하는 송신 회로(120)와 마찬가지로 부가 정보를 "EmbeddedData"로서 송신하는 것이 가능하다.
제2의 송신 방식에 대응하는 화상 센서(100)는 예를 들면 도 15에 도시하는 하드웨어 구성을 갖는다. 또한 제2의 송신 방식에 대응하는 화상 센서(100)의 하드웨어 구성이 도 15에 도시하는 예로 한정되지 않음은 말할 필요도 없다.
(2-3-2) 제2의 송신 방식에 대응하는 프로세서(200)(수신 장치)의 구성
도 16은, 본 실시 형태에 관한 송신 방법에 관한 제2의 송신 방식에 대응하는 프로세서(200)의 구성의 한 예를 도시하는 기능 블록도이다. 도 16에서는, 편의상, 화상 센서(100)만을 아울러서 도시하고 있다. 프로세서(200)는 예를 들면, 패킷 분리부(250)와, 쇼트 패킷 해석부(252)와, 롱 패킷 분리부(254)와, 헤더 해석부(256)와, 페이로드 해석부(258)와, 화상 처리부(208)와, 연산부(210)와, 송신부(212)를 갖는다.
패킷 분리부(250)는, 수신된 데이터로부터, 쇼트 패킷과 롱 패킷을 분리한다. 패킷 분리부(250)는, 예를 들면, 쇼트 패킷의 단락을 검출함에 의해 쇼트 패킷과 롱 패킷을 분리한다.
쇼트 패킷 해석부(252)는, 패킷 분리부(250)로부터 전달되는 쇼트 패킷으로부터, 영역 정보를 구성하는 각종 정보를 취출하고, 영역 정보를 화상 처리부(208)에 전달한다.
롱 패킷 분리부(254)는, 도 13에 도시하는 헤더 분리부(202)와 마찬가지로 패킷 분리부(250)로부터 전달되는 롱 패킷으로부터, 헤더 부분에 대응하는 헤더 데이터와, 페이로드 부분에 대응하는 페이로드 데이터를 분리한다.
헤더 해석부(256)는, 헤더 데이터가 나타내는 내용을 해석한다. 예를 들면, 헤더 해석부(256)는, 페이로드 데이터가 "Embedded Data"인지를 해석한다. 또한 헤더 해석부(256)는, 페이로드 데이터의 위치를 특정하고, 특정한 위치를 롱 패킷 분리부(254)에 전달하여도 좋다.
페이로드 해석부(258)는, 헤더 해석부(256)에서의 해석 결과에 의거하여 페이로드 데이터로부터, 부가 정보, 또는, 화상 데이터(통상 데이터 또는 영역 데이터. 이하, 도 16의 설명에서는 마찬가지라고 한다.)를 취출한다.
예를 들면, 헤더 해석부(256)에서 페이로드 데이터가 "Embedded Data"라고 해석된 경우, 페이로드 해석부(258)는, 페이로드 데이터를 부가 정보로 한다.
또한 헤더 해석부(256)에서 페이로드 데이터가 "Embedded Data"라고 해석되지 않은 경우, 페이로드 해석부(258)는, 페이로드 데이터를 화상 데이터로 한다.
도 16에 도시하는 화상 처리부(208)는, 도 13에 도시하는 화상 처리부(208)와 마찬가지로 부가 정보, 영역 정보 및 화상 데이터에 의거하여 행마다의 화상 데이터를 처리하고, 영역에 대응하는 화상을 나타내는 데이터, 또는, 화상 전체를 나타내는 데이터를 얻는다.
도 16에 도시하는 연산부(210)는, 도 13에 도시하는 연산부(210)와 마찬가지로 화상 처리부(208)에서 얻어진 화상 데이터에 의거한 처리나, 화상에 대한 영역의 설정에 관한 처리 등의, 다양한 처리를 행한다.
도 16에 도시하는 송신부(212)는, 도 13에 도시하는 송신부(212)와 마찬가지로 각종 데이터(예를 들면, 화상 데이터, 제어 정보 등)를 제어 버스(B2)나 각종 신호선 등을 통하여, 외부 장치에 송신한다.
프로세서(200)는 예를 들면, 패킷 분리부(250), 쇼트 패킷 해석부(252), 롱 패킷 분리부(254), 헤더 해석부(256), 페이로드 해석부(258), 화상 처리부(208), 연산부(210) 및 송신부(212)를 가짐에 의해 화상 센서(100)로부터 수신한 데이터에 의거하여 영역에 대응하는 화상을 나타내는 데이터, 또는, 화상 전체를 나타내는 데이터를 얻을 수 있다. 또한 도 16에 도시하는 프로세서(200)의 기능 블록은, 프로세서(200)가 갖는 기능을 편의상 잘라 나눈 것이고, 프로세서(200)에서의 기능의 잘라 나누는 방식은, 도 16에 도시하는 예로 한정되지 않는다. 또한 도 13에 도시하는 프로세서(200)와 마찬가지로 외부 장치에 각종 데이터를 송신하는 기능을 갖지 않는 경우, 프로세서(200)는 송신부(212)를 갖지 않아도 좋다.
(3) 제3의 송신 방식
(3-1) 제3의 송신 방식에 관한 처리
화상 센서(100)는 상기 (2)에 나타내는 제2의 송신 방식과 마찬가지로 영역 데이터를 제1의 패킷의 페이로드에 격납하고, 영역 정보에 포함되는 정보를 제1의 패킷과 다른 제2의 패킷에 격납한다. 그리고, 화상 센서(100)는 제1의 패킷 및 제2의 패킷을 행마다 송신시킨다.
제3의 송신 방식에 관한 제1의 패킷으로서는, MIPI의 롱 패킷을 들 수 있고, 제3의 송신 방식에 관한 제2의 패킷으로서는, 패킷 헤더를 들 수 있다. 즉, 제2의 송신 방식에서는, 예를 들면 MIPI의 쇼트 패킷으로 영역 정보를 송신하였음에 대해, 제3의 송신 방식에서는, 패킷 헤더로 영역 정보를 송신한다.
여기서, 도 2, 도 3에 도시하는 바와 같이 쇼트 패킷과 패킷 헤더는, 같은 구조를 갖는다. 따라서, 제3의 송신 방식을 이용하는 화상 센서(100)는 상기 (2)에 나타내는 제2의 송신 방식을 이용하는 화상 센서(100)와 마찬가지로 영역 정보와 영역 데이터를 행마다 송신할 수 있다.
또한 제3의 송신 방식을 이용하는 화상 센서(100)는 상기 (1)에 나타내는 제1의 송신 방식을 이용한 화상 센서(100)와 마찬가지로 겹침 부분의 데이터를 중복하여 송신시키는지를 판정하고, 판정 결과에 응하여 겹침 부분의 데이터를 중복하여 송신시켜도 좋다.
또한 제3의 송신 방식에 관한 제2의 패킷은, 도 3에 도시하는 패킷 헤더와 같은 구조를 갖는 패킷 헤더로 한정되지 않는다. 예를 들면, 제3의 송신 방식에 관한 제2의 패킷은, 도 2에 도시하는 "Data Field"가 확장된 구조를 갖는 패킷 헤더(예를 들면, "Data Field"를 2[byte]로부터 3[byte] 이상으로 확장한 패킷 헤더)라도 좋다. 제3의 송신 방식에 관한 제2의 패킷이 상기 확장된 구조를 갖는 패킷 헤더인 경우, 영역 정보에 포함되는 정보는, 하나의 제2의 패킷에 격납될 수 있다.
또한 제3의 송신 방식에서, 영역 정보에 포함되는 정보가 격납되는 영역은, 제1의 패킷의 일부라도 좋다. 즉, 제3의 송신 방식에서는, 상기 제1의 패킷과 상기 제2의 패킷이 하나의 패킷이라고 파악하는 것도 가능하다.
(3-2) 제3의 송신 방식의 특징, 이점
본 실시 형태에 관한 송신 방법에 관한 제3의 송신 방식은, 상기 (2)에 나타내는 제2의 송신 방식과 같은 특징을 갖는다.
또한 제3의 송신 방식은, 예를 들면 하기에 나타내는 이점을 갖는다.
·전송 효율이 높다
·영역 정보의 오류 정정이 가능하다
·임의의 영역(ROI)의 형상을 전송 가능하다
(3-3) 제3의 송신 방식에 관한 구성례
제3의 송신 방식에 대응하는 화상 센서(100)는 예를 들면 도 14에 도시하는 상기 (2)에 나타내는 제2의 송신 방식에 대응하는 화상 센서(100)와 같은 구성(변형례도 포함한다.)을 취한다. 또한 제3의 송신 방식에 대응하는 프로세서(200)는 예를 들면 도 15에 도시하는 상기 (2)에 나타내는 제2의 송신 방식에 대응하는 프로세서(200)와 같은 구성(변형례도 포함한다.)을 취한다.
[4] 본 실시 형태에 관한 송신 방법이 사용됨에 의해 이루어지는 효과의 한 예
본 실시 형태에 관한 송신 방법이 사용됨에 의해 예를 들면 하기에 나타내는 효과가 이루어진다. 또한 본 실시 형태에 관한 송신 방법이 이용됨에 의해 이루어지는 효과가 하기에 나타내는 예로 한정되지 않음은 말할 필요도 없다.
·화상에 대해 설정되는 영역(ROI)의 데이터를 전송할 때에 영역마다 VC를 나눌 필요는 없다.
·화상에 대해 설정되는 영역(ROI)의 데이터를 전송할 때에 동일한 행에 포함되는 영역 각각의 데이터를 통합하여 송신할 수 있다.
·영역 정보에 포함되는 정보 중, 변화점에 대응하는 정보만을 송신하는 것이 가능하고, 영역 정보의 데이터량을 보다 작게 할 수 있다(즉, 최소한의 영역 정보의 전송이 가능하다).
·사각형, 타원, 도넛 형상 등의 임의의 형상의 영역에 대응할 수 있다
·도 5의 영역(3), 영역(4)과 같이 설정되어 있는 영역이 겹쳐져 있는 경우라도, 영역의 데이터를 전송할 수 있다.
·제1의 송신 방식이 이용되는 경우, 영역 정보는 패킷의 페이로드에 격납하여 송신되기 때문에 영역 정보의 송신에 의해 LPS의 기간이 증가하는 일은 없다. 따라서, 제1의 송신 방식이 이용되는 경우, 영역 정보가 전송 효율에 영향을 미칠 가능성은 낮다.
(본 실시 형태에 관한 프로그램)
컴퓨터를 본 실시 형태에 관한 송신 장치로서 기능시키기 위한 프로그램(예를 들면, 본 실시 형태에 관한 송신 방법에 관한 처리를 컴퓨터에 실행시키는 프로그램)이 컴퓨터에서 프로세서 등에 의해 실행됨에 의해 화상에 대해 설정되는 임의의 형상의 영역 데이터를 송신할 수 있다.
또한 컴퓨터를 본 실시 형태에 관한 송신 장치로서 기능시키기 위한 프로그램이 컴퓨터에서 프로세서 등에 의해 실행됨에 의해 상술한 본 실시 형태에 관한 송신 방법이 이용됨에 의해 이루어지는 효과를 이룰 수 있다.
이상, 첨부 도면을 참조하면서 본 개시의 알맞은 실시 형태에 관해 상세히 설명하였지만, 본 개시의 기술적 범위는 이러한 예로 한정되지 않는다. 본 개시의 기술 분야에서 통상의 지식을 갖는 자라면, 청구의 범위에 기재된 기술적 사상의 범주내에서, 각종의 변경례 또는 수정례에 상도할 수 있음은 분명하고, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것으로 이해된다.
예를 들면, 상기에서는, 컴퓨터를 본 실시 형태에 관한 송신 장치로서 기능시키기 위한 프로그램(컴퓨터 프로그램)이 제공되는 것을 나타냈지만, 본 실시 형태는, 또한 상기 프로그램을 기억시킨 기록 매체도 아울러서 제공할 수 있다.
상술한 구성은 본 실시 형태의 한 예를 나타내는 것이고, 당연히, 본 개시의 기술적 범위에 속하는 것이다.
또한 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것이고 한정적이 아니다. 즉, 본 개시에 관한 기술은, 상기한 효과와 함께, 또는 상기한 효과에 대신하여, 본 명세서의 기재로부터 당업자에게는 분명한 다른 효과를 이룰 수 있다.
또한 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.
(1) 화상에 대해 설정되는 영역에 대응하는 영역 정보를 상기 화상에서의 행마다 설정하고, 설정된 상기 영역 정보와 상기 영역에 대응하는 영역 데이터를 행마다 송신시키는 화상 처리부를 구비하고,
상기 화상 처리부는, 상기 화상을 해석함에 의해 또는, 외부로부터 취득되는 영역 지정 정보에 의거하여 상기 영역을 설정하고,
상기 영역 정보에는, 행의 위치를 나타내는 정보 및 행에 포함되는 상기 영역의 열의 위치를 나타내는 정보가 포함되는 송신 장치.
(2) 상기 영역 지정 정보는, 상기 영역 데이터의 송신처의 수신 장치로부터 취득되는 (1)에 기재된 송신 장치.
(3) 상기 화상 처리부는,
복수의 상기 영역이 겹쳐지는 겹침 부분이 존재하는 경우, 상기 겹침 부분의 데이터를 복수의 상기 영역 각각에 대응하는 상기 영역 데이터에 의해 중복하여 송신시키는지를 판정하고,
중복하여 송신시킨다고 판정한 경우에 상기 겹침 부분의 데이터를 중복하여 송신시키는 (1) 또는 (2)에 기재된 송신 장치.
(4) 상기 화상 처리부는, 상기 겹침 부분을 포함하는 행의 열수에 의거하여 중복하여 송신시키는지를 판정하는 (3)에 기재된 송신 장치.
(5) 상기 화상 처리부는, 설정되어 있는 동작 모드에 의거하여 중복하여 송신시키는지를 판정하는 (3)에 기재된 송신 장치.
(6) 상기 영역 정보에는, 또한 행에 포함되는 상기 영역의 식별 정보 및 행에 포함되는 상기 영역의 크기를 나타내는 정보가 포함되는 (1)∼(5)의 어느 하나에 기재된 송신 장치.
(7) 상기 화상 처리부는, 상기 영역 정보에 포함되는 정보를 상기 영역마다 통합하여 상기 영역 정보에 설정하는 (1)∼(6)의 어느 하나에 기재된 송신 장치.
(8) 상기 화상 처리부는, 하나의 행에 동일한 상기 영역이 복수 존재하는 경우, 존재하는 수만큼 상기 영역 정보를 설정하는 (7)에 기재된 송신 장치.
(9) 상기 화상 처리부는, 하나 전에 송신시키는 행의 상기 영역 정보에 포함되는 정보로부터 변화하지 않는 정보는, 상기 영역 정보에 설정하지 않는 (1)∼(8)의 어느 하나에 기재된 송신 장치.
(10) 상기 화상 처리부는,
상기 영역의 열의 위치를 나타내는 정보를 상기 영역 정보에 설정할 때에는, 상기 영역 정보에 상기 영역의 식별 정보를 설정하고,
상기 영역의 크기를 나타내는 정보를 상기 영역 정보에 설정할 때에는, 상기 영역 정보에 상기 영역의 식별 정보를 설정하는 (9)에 기재된 송신 장치.
(11) 상기 화상 처리부는,
소정의 순서에 따라, 행마다의 상기 영역 정보와 상기 영역 데이터를 송신시키고,
상기 영역 정보와 상기 영역 데이터를 송신시키는 행이 상기 소정의 순서에 따른 행인 경우에는, 상기 영역 정보에 상기 행의 위치를 나타내는 정보를 설정하지 않는 (9) 또는 (10)에 기재된 송신 장치.
(12) 상기 화상 처리부는, 상기 영역 정보와 상기 영역 데이터를 패킷의 페이로드에 격납하여 송신시키는 (1)∼(11)의 어느 하나에 기재된 송신 장치.
(13) 상기 영역 정보는, 상기 페이로드의 선두 부분에 격납되는 (12)에 기재된 송신 장치.
(14) 상기 화상 처리부는, 또한 상기 영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 상기 영역 정보로부터 변화하고 있는지의 여부를 나타내는 변화 정보를 행마다 송신시키는 (12) 또는 (13)에 기재된 송신 장치.
(15) 상기 영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 상기 영역 정보로부터 변화하지 않는 경우, 상기 화상 처리부는, 상기 영역 정보를 송신시키지 않는 (14)에 기재된 송신 장치.
(16) 상기 화상 처리부는, 또한 상기 영역의 데이터량을 나타내는 정보, 상기 영역의 크기를 나타내는 정보 및 상기 영역의 우선도를 나타내는 정보 중의 1 또는 2 이상을 송신시키는 (12)∼(15)의 어느 하나에 기재된 송신 장치.
(17) 상기 패킷은, MIPI의 롱 패킷인 (12)∼(16)의 어느 하나에 기재된 송신 장치.
(18) 상기 화상 처리부는,
상기 영역 데이터를 제1의 패킷의 페이로드에 격납하고,
상기 영역 정보에 포함되는 정보 각각을 상기 제1의 패킷과 다른 제2의 패킷에 각각 격납하고,
상기 제1의 패킷 및 상기 제2의 패킷을 행마다 송신시키는 (1)∼(11)의 어느 하나에 기재된 송신 장치.
(19) 상기 제1의 패킷은, MIPI의 롱 패킷이고,
상기 제2의 패킷은, MIPI의 쇼트 패킷인 (18)에 기재된 송신 장치.
100 : 화상 센서 102 : 화상 센서 디바이스
104, 150 : IC 칩 106, 152 : 화상 처리 회로
108 : LINK 제어 회로 110 : ECC 생성 회로
112, 154 : PH 생성 회로 114 : EBD용 버퍼
116 : 화상 데이터 버퍼 118, 156 : 합성 회로
120 : 송신 회로 122 : 영역 절출부
124 : 화상 처리 제어부 126, 158 : 인코드부
200 : 프로세서 202 : 헤더 분리부
204 : 헤더 해석부 206 : 페이로드 분리부
208 : 화상 처리부 210 : 연산부
212 : 송신부 214 : 디코드부
216 : 화상 생성부 250 : 패킷 분리부
252 : 쇼트 패킷 해석부 254 : 롱 패킷 분리부
256 : 헤더 해석부 258 : 페이로드 해석부
300 : 메모리 400 : 표시 디바이스
1000 : 통신 시스템 B1 : 데이터 버스
B2 : 제어 버스

Claims (19)

  1. 화상에 대해 설정되는 영역에 대응하는 영역 정보를 상기 화상에서의 행마다 설정하고, 설정된 상기 영역 정보와 상기 영역에 대응하는 영역 데이터를 행마다 송신시키는 화상 처리부를 구비하고,
    상기 화상 처리부는, 상기 화상을 해석함에 의해 또는, 외부로부터 취득되는 영역 지정 정보에 의거하여 상기 영역을 설정하고,
    상기 영역 정보에는, 행의 위치를 나타내는 정보 및 행에 포함되는 상기 영역의 열의 위치를 나타내는 정보가 포함되는 것을 특징으로 하는 송신 장치.
  2. 제1항에 있어서,
    상기 영역 지정 정보는, 상기 영역 데이터의 송신처의 수신 장치로부터 취득되는 것을 특징으로 하는 송신 장치.
  3. 제1항에 있어서,
    상기 화상 처리부는,
    복수의 상기 영역이 겹쳐지는 겹침 부분이 존재하는 경우, 상기 겹침 부분의 데이터를 복수의 상기 영역 각각에 대응하는 상기 영역 데이터에 의해 중복하여 송신시키는지를 판정하고,
    중복하여 송신시킨다고 판정한 경우에 상기 겹침 부분의 데이터를 중복하여 송신시키는 것을 특징으로 하는 송신 장치.
  4. 제3항에 있어서,
    상기 화상 처리부는, 상기 겹침 부분을 포함하는 행의 열수에 의거하여 중복하여 송신시키는지를 판정하는 것을 특징으로 하는 송신 장치.
  5. 제3항에 있어서,
    상기 화상 처리부는, 설정되어 있는 동작 모드에 의거하여 중복하여 송신시키는지를 판정하는 것을 특징으로 하는 송신 장치.
  6. 제1항에 있어서,
    상기 영역 정보에는, 또한 행에 포함되는 상기 영역의 식별 정보 및 행에 포함되는 상기 영역의 크기를 나타내는 정보가 포함되는 것을 특징으로 하는 송신 장치.
  7. 제1항에 있어서,
    상기 화상 처리부는, 상기 영역 정보에 포함되는 정보를 상기 영역마다 통합하여 상기 영역 정보에 설정하는 것을 특징으로 하는 송신 장치.
  8. 제7항에 있어서,
    상기 화상 처리부는, 하나의 행에 동일한 상기 영역이 복수 존재하는 경우, 존재하는 수만큼, 상기 영역 정보를 설정하는 것을 특징으로 하는 송신 장치.
  9. 제1항에 있어서,
    상기 화상 처리부는, 하나 전에 송신시키는 행의 상기 영역 정보에 포함되는 정보로부터 변화하지 않는 정보는, 상기 영역 정보에 설정하지 않는 것을 특징으로 하는 송신 장치.
  10. 제9항에 있어서,
    상기 화상 처리부는,
    상기 영역의 열의 위치를 나타내는 정보를 상기 영역 정보에 설정할 때에는, 상기 영역 정보에 상기 영역의 식별 정보를 설정하고,
    상기 영역의 크기를 나타내는 정보를 상기 영역 정보에 설정할 때에는, 상기 영역 정보에 상기 영역의 식별 정보를 설정하는 것을 특징으로 하는 송신 장치.
  11. 제9항에 있어서,
    상기 화상 처리부는,
    소정의 순서에 따라, 행마다의 상기 영역 정보와 상기 영역 데이터를 송신시키고,
    상기 영역 정보와 상기 영역 데이터를 송신시키는 행이 상기 소정의 순서에 따른 행인 경우에는, 상기 영역 정보에 상기 행의 위치를 나타내는 정보를 설정하지 않는 것을 특징으로 하는 송신 장치.
  12. 제1항에 있어서,
    상기 화상 처리부는, 상기 영역 정보와 상기 영역 데이터를 패킷의 페이로드에 격납하여 송신시키는 것을 특징으로 하는 송신 장치.
  13. 제12항에 있어서,
    상기 영역 정보는, 상기 페이로드의 선두 부분에 격납되는 것을 특징으로 하는 송신 장치.
  14. 제12항에 있어서,
    상기 화상 처리부는, 또한 상기 영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 상기 영역 정보로부터 변화하고 있는지의 여부를 나타내는 변화 정보를 행마다 송신시키는 것을 특징으로 하는 송신 장치.
  15. 제14항에 있어서,
    상기 영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 상기 영역 정보로부터 변화하지 않는 경우, 상기 화상 처리부는, 상기 영역 정보를 송신시키지 않는 것을 특징으로 하는 송신 장치.
  16. 제12항에 있어서,
    상기 화상 처리부는, 또한 상기 영역의 데이터량을 나타내는 정보, 상기 영역의 크기를 나타내는 정보 및 상기 영역의 우선도를 나타내는 정보 중의 1 또는 2 이상을 송신시키는 것을 특징으로 하는 송신 장치.
  17. 제12항에 있어서,
    상기 패킷은, MIPI(Mobile Industry Processor Interface Alliance)의 롱 패킷인 것을 특징으로 하는 송신 장치.
  18. 제1항에 있어서,
    상기 화상 처리부는,
    상기 영역 데이터를 제1의 패킷의 페이로드에 격납하고,
    상기 영역 정보에 포함되는 정보 각각을 상기 제1의 패킷과 다른 제2의 패킷에 각각 격납하고,
    상기 제1의 패킷 및 상기 제2의 패킷을 행마다 송신시키는 것을 특징으로 하는 송신 장치.
  19. 제18항에 있어서,
    상기 제1의 패킷은, MIPI(Mobile Industry Processor Interface Alliance)의 롱 패킷이고,
    상기 제2의 패킷은, MIPI의 쇼트 패킷인 것을 특징으로 하는 송신 장치.
KR1020207010595A 2017-11-10 2018-08-27 송신 장치 KR102641559B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2017-217833 2017-11-10
JP2017217833 2017-11-10
PCT/JP2018/031565 WO2019092952A1 (ja) 2017-11-10 2018-08-27 送信装置

Publications (2)

Publication Number Publication Date
KR20200087751A true KR20200087751A (ko) 2020-07-21
KR102641559B1 KR102641559B1 (ko) 2024-02-28

Family

ID=66439147

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207010595A KR102641559B1 (ko) 2017-11-10 2018-08-27 송신 장치

Country Status (7)

Country Link
US (1) US11606527B2 (ko)
EP (1) EP3709662A4 (ko)
JP (1) JP7277373B2 (ko)
KR (1) KR102641559B1 (ko)
CN (1) CN111295885B (ko)
TW (1) TW201924324A (ko)
WO (1) WO2019092952A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202029002A (zh) * 2018-12-20 2020-08-01 日商索尼半導體解決方案公司 通信裝置、通信方法及程式
EP3993435A4 (en) * 2019-06-28 2022-08-31 Sony Semiconductor Solutions Corporation SENDING DEVICE, RECEIVING DEVICE, AND TRANSMISSION SYSTEM
EP3993390A4 (en) * 2019-06-28 2022-08-31 Sony Semiconductor Solutions Corporation TRANSMITTER, RECEIVER AND COMMUNICATION SYSTEM
WO2020261814A1 (ja) 2019-06-28 2020-12-30 ソニーセミコンダクタソリューションズ株式会社 送信装置、受信装置及び伝送システム
US12052515B2 (en) 2019-06-28 2024-07-30 Sony Semiconductor Solutions Corporation Transmitting apparatus, receiving apparatus, and transmission system
CN112766265B (zh) * 2021-01-27 2023-11-14 厦门树冠科技有限公司 一种任意形状roi截取方法、系统、介质及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02306765A (ja) * 1989-05-22 1990-12-20 Ricoh Co Ltd 画像伝送装置
JP2006109001A (ja) * 2004-10-04 2006-04-20 Toshiba Teli Corp 撮像装置及び画像データ伝送処理装置及び画像データ受信装置
JP2012209831A (ja) 2011-03-30 2012-10-25 Panasonic Corp 画像データ制御装置
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP2014039219A (ja) 2012-08-20 2014-02-27 Nippon Telegr & Teleph Corp <Ntt> 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法
US20160065873A1 (en) * 2014-09-02 2016-03-03 Canon Kabushiki Kaisha Image capturing apparatus, control method of the same and image sensor
JP2016201756A (ja) 2015-04-14 2016-12-01 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005142654A (ja) * 2003-11-04 2005-06-02 Matsushita Electric Ind Co Ltd 映像送信装置および映像受信装置
GB0416496D0 (en) * 2004-07-23 2004-08-25 Council Of The Central Lab Of Imaging device
US20090097704A1 (en) * 2007-10-10 2009-04-16 Micron Technology, Inc. On-chip camera system for multiple object tracking and identification
JP2012150152A (ja) * 2011-01-17 2012-08-09 Renesas Electronics Corp データ処理装置及び半導体装置
KR101973822B1 (ko) * 2011-05-11 2019-04-29 포토네이션 케이맨 리미티드 어레이 카메라 이미지 데이터를 송신 및 수신하기 위한 시스템들 및 방법들
JP5932376B2 (ja) * 2012-02-08 2016-06-08 富士機械製造株式会社 画像転送方法および画像転送装置
US9979904B2 (en) * 2013-01-25 2018-05-22 Innovaciones Microelectrónicas S.L. (Anafocus) Advanced region of interest function for image sensors
US20150049105A1 (en) * 2013-08-13 2015-02-19 Mediatek Inc. Data processing apparatus for transmitting/receiving indication information of pixel data grouping setting via display interface and related data processing method
US9258485B2 (en) * 2014-03-24 2016-02-09 Omnivision Technologies, Inc. Image sensor cropping images in response to cropping coordinate feedback
JP6367605B2 (ja) * 2014-05-13 2018-08-01 株式会社Ｆｕｊｉ 画像転送方法および画像転送装置
KR102386385B1 (ko) * 2017-07-21 2022-04-15 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 압축 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02306765A (ja) * 1989-05-22 1990-12-20 Ricoh Co Ltd 画像伝送装置
JP2006109001A (ja) * 2004-10-04 2006-04-20 Toshiba Teli Corp 撮像装置及び画像データ伝送処理装置及び画像データ受信装置
JP2012209831A (ja) 2011-03-30 2012-10-25 Panasonic Corp 画像データ制御装置
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP2014039219A (ja) 2012-08-20 2014-02-27 Nippon Telegr & Teleph Corp <Ntt> 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法
US20160065873A1 (en) * 2014-09-02 2016-03-03 Canon Kabushiki Kaisha Image capturing apparatus, control method of the same and image sensor
JP2016201756A (ja) 2015-04-14 2016-12-01 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム

Also Published As

Publication number Publication date
EP3709662A1 (en) 2020-09-16
TW201924324A (zh) 2019-06-16
WO2019092952A1 (ja) 2019-05-16
EP3709662A4 (en) 2020-12-30
KR102641559B1 (ko) 2024-02-28
JP7277373B2 (ja) 2023-05-18
US11606527B2 (en) 2023-03-14
CN111295885A (zh) 2020-06-16
CN111295885B (zh) 2023-05-30
US20200275046A1 (en) 2020-08-27
JPWO2019092952A1 (ja) 2020-11-19

Similar Documents

Publication Publication Date Title
JP7007160B2 (ja) 送信装置
JP7277373B2 (ja) 送信装置
US12058438B2 (en) Image processing apparatus and image processing system with gain correction based on correction control information
JP7152475B2 (ja) 送信装置、受信装置、及び通信システム
JP7414733B2 (ja) 受信装置および送信装置
WO2021039012A1 (ja) 撮像装置、データ伝送システム、及びデータ伝送方法
TWI827725B (zh) 圖像處理裝置及圖像處理方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right