KR20190013727A - 처리 장치, 화상 센서 및 시스템 - Google Patents
처리 장치, 화상 센서 및 시스템 Download PDFInfo
- Publication number
- KR20190013727A KR20190013727A KR1020187031789A KR20187031789A KR20190013727A KR 20190013727 A KR20190013727 A KR 20190013727A KR 1020187031789 A KR1020187031789 A KR 1020187031789A KR 20187031789 A KR20187031789 A KR 20187031789A KR 20190013727 A KR20190013727 A KR 20190013727A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- output
- packet
- sensors
- sensor
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
- G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
처리 장치와 복수의 화상 센서를 데이터 버스로 접속하는 경우에, 처리 장치에 접속되는 데이터 버스의 수를 줄이는 것이 가능한 처리 장치, 화상 센서 및 시스템을 제공한다.
데이터 버스에 접속되어, 데이터 버스에 접속되는 복수의 화상 센서 각각으로부터 데이터 버스를 통하여 출력되는 화상에 관한 제어를 행하는 처리부를 구비하는 처리 장치가 제공된다.
데이터 버스에 접속되어, 데이터 버스에 접속되는 복수의 화상 센서 각각으로부터 데이터 버스를 통하여 출력되는 화상에 관한 제어를 행하는 처리부를 구비하는 처리 장치가 제공된다.
Description
본 출원은 2016년 5월 26일자로 출원된 일본 우선권 특허출원 JP2016-105353의 이익을 주장하며, 그 전체 내용은 본원에 참고로 인용된다.
본 개시는, 처리 장치, 화상 센서 및 시스템에 관한 것이다.
예를 들면 프로세서와 센서 사이의 접속 등의, 디바이스 사이의 접속에 관한 기술이 개발되어 있다. 디바이스 사이의 접속에 관한 기술로서는 예를 들면 하기한 특허 문헌 1에 기재된 기술을 들 수 있다.
예를 들면, 전자 기기의 고기능화, 다기능화 등에 수반하여, 프로세서 등의 처리 장치를 구비하는 전자 기기의 중에는, 복수의 화상 센서를 구비하는 것이 있다. 또한 상기한 바와 같은 처리 장치를 구비하는 전자 기기에서는 처리 장치에 접속되는 데이터 버스의 수를 줄이는 것이 요망되고 있다. 처리 장치에 접속되는 데이터 버스의 수를 줄임에 의해, 예를 들면 하기한 것을 실현하는 것이 가능해진다.
- 처리 장치와 복수의 화상 센서를 접속하는 배선 영역을 보다 작게 하는 것
- 처리 장치의 하드웨어 구성을 보다 간략화하는 것
여기서, 프로세서(처리 장치의 한 예. 이하, 마찬가지라고 한다.)와 화상 센서를 데이터 버스(신호의 전송로)로 접속하는 규격으로서는 MIPI(Mobile Industry Processor Interface) 동맹의 CSI-2(Camera Serial Interface 2) 규격이 있다. CSI-2 규격은 프로세서와 화상 센서를 데이터 버스로 1대1로 접속하기 위한 규격이다. CSI-2 규격과 같은 기존의 규격에서는 "데이터 버스상에서, 프로세서와 복수의 화상 센서가 접속되는 것"은 상정되어 있지 않다. 그 때문에, CSI-2 규격과 같은 기존의 규격을 단지 이용하여, 프로세서와 복수의 화상 센서 각각을 데이터 버스로 접속하는 경우에는, 프로세서에 접속되는 데이터 버스의 수는, 화상 센서의 수만큼 필요해진다. 따라서, CSI-2 규격과 같은 기존의 규격을 단지 이용하는 경우에는, 상기 배선 영역을 보다 작게 하는 것 및 상기 프로세서에 접속되는 데이터 버스의 수를 줄이는 것을 실현하는 것은 곤란하다.
본 개시에서는 처리 장치와 복수의 화상 센서를 데이터 버스로 접속하는 경우에, 처리 장치에 접속되는 데이터 버스의 수를 줄이는 것이 가능한 신규이면서 개량된 처리 장치, 화상 센서 및 시스템을 제안한다.
본 개시에 의하면, 데이터 버스에 접속되어, 상기 데이터 버스에 접속되는 복수의 화상 센서 각각으로부터 상기 데이터 버스를 통하여 출력되는 화상에 관한 제어를 행하는 처리부를 구비하는 처리 장치가 제공된다.
또한 본 개시에 의하면, 다른 화상 센서가 접속되는 데이터 버스에 접속되어, 제어 정보에 의거하여 화상을 출력하는 화상 센서가 제공된다.
또한 본 개시에 의하면, 데이터 버스에 각각 접속되는 복수의 화상 센서와, 상기 데이터 버스에 접속되는 처리 장치를 가지며, 상기 처리 장치는, 상기 화상 센서 각각으로부터 상기 데이터 버스를 통하여 출력되는 화상에 관한 제어를 행하는 처리부를 구비하는 시스템이 제공된다.
본 개시에 의하면, 처리 장치와 복수의 화상 센서를 데이터 버스로 접속하는 경우에, 처리 장치에 접속되는 데이터 버스의 수를 줄일 수 있다.
또한 상기한 효과는 반드시 한정적인 것이 아니라, 상기한 효과와 함께, 또는 상기한 효과에 대신하여, 본 명세서에 나타난 어느 하나의 효과, 또는 본 명세서로부터 파악될 수 있는 다른 효과가 이루어져도 좋다.
도 1은 본 실시 형태에 관한 시스템의 구성의 한 예를 도시하는 설명도.
도 2A는 본 실시 형태에 관한 시스템을 구성하는 프로세서에서의 화상에 관한 제어의 한 예를 설명하기 위한 설명도.
도 2B는 본 실시 형태에 관한 시스템을 구성하는 프로세서에서의 화상에 관한 제어의 한 예를 설명하기 위한 설명도.
도 2C는 본 실시 형태에 관한 시스템을 구성하는 프로세서에서의 화상에 관한 제어의 한 예를 설명하기 위한 설명도.
도 2D는 본 실시 형태에 관한 시스템을 구성하는 프로세서에서의 화상에 관한 제어의 한 예를 설명하기 위한 설명도.
도 2E는 본 실시 형태에 관한 시스템을 구성하는 프로세서에서의 화상에 관한 제어의 한 예를 설명하기 위한 설명도.
도 3은 본 실시 형태에 관한 시스템을 구성하는 센서의 구성의 한 예를 도시하는 설명도.
도 4는 본 실시 형태에 관한 시스템을 구성하는 센서에 의해 생성된 화상 데이터의 한 예를 도시하는 도면.
도 5는 본 실시 형태에 관한 시스템을 구성하는 데이터 버스상에서 전송되는 화상 데이터의 패킷열의 한 예를 도시하는 도면.
도 6은 CSI-2 규격에서 정하여진 패킷의 포맷을 도시하는 도면.
도 7은 CSI-2 규격에서 정하여진 패킷의 포맷을 도시하는 도면.
도 8은 본 실시 형태에 관한 시스템을 구성하는 메모리상에 확보된 프레임 버퍼의 한 예를 도시하는 도면.
도 9는 본 실시 형태에 관한 시스템을 구성하는 프로세서에 의한 화상에 관한 제어에 의해, 센서로부터 출력되는 화상 데이터의 패킷 구성례를 도시하는 설명도.
도 10은 본 실시 형태에 관한 시스템을 구성하는 프로세서에서의 화상에 관한 제어에 관한 처리(본 실시 형태에 관한 제어 방법에 관한 처리)의 한 예를 도시하는 흐름도.
도 11은 본 실시 형태에 관한 시스템을 구성하는 복수의 센서 각각으로부터 출력되는 화상 데이터의 패킷열의 제1의 예를 도시하는 도면.
도 12는 본 실시 형태에 관한 시스템을 구성하는 프로세서가 수신하는 패킷열의 제1의 예를 도시하는 도면.
도 13은 본 실시 형태에 관한 시스템을 구성하는 메모리상의 프레임 버퍼에 기억된, 화상 데이터의 패킷열의 제1의 예를 도시하는 도면.
도 14는 본 실시 형태에 관한 시스템을 구성하는 복수의 센서 각각으로부터 출력되는 화상 데이터의 패킷열의 제2의 예를 도시하는 도면.
도 15는 본 실시 형태에 관한 시스템을 구성하는 프로세서가 수신하는 패킷열의 제2의 예를 도시하는 도면.
도 16은 본 실시 형태에 관한 시스템을 구성하는 메모리상의 프레임 버퍼에 기억된, 화상 데이터의 패킷열의 제2의 예를 도시하는 도면.
도 17은 본 실시 형태에 관한 시스템을 구성하는 복수의 센서 각각으로부터 출력되는 화상 데이터의 패킷열의 제3의 예를 도시하는 도면.
도 18은 본 실시 형태에 관한 시스템을 구성하는 프로세서가 수신하는 패킷열의 제3의 예를 도시하는 도면.
도 19는 본 실시 형태에 관한 시스템을 구성하는 메모리상의 프레임 버퍼에 기억된, 화상 데이터의 패킷열의 제3의 예를 도시하는 도면.
도 20은 본 실시 형태에 관한 시스템을 구성하는 복수의 센서 각각으로부터 출력되는 화상 데이터의 패킷열의 제4의 예를 도시하는 도면.
도 21은 본 실시 형태에 관한 시스템을 구성하는 프로세서가 수신하는 패킷열의 제4의 예를 도시하는 도면.
도 22는 본 실시 형태에 관한 시스템을 구성하는 메모리상의 프레임 버퍼에 기억된, 화상 데이터의 패킷열의 제4의 예를 도시하는 도면.
도 2A는 본 실시 형태에 관한 시스템을 구성하는 프로세서에서의 화상에 관한 제어의 한 예를 설명하기 위한 설명도.
도 2B는 본 실시 형태에 관한 시스템을 구성하는 프로세서에서의 화상에 관한 제어의 한 예를 설명하기 위한 설명도.
도 2C는 본 실시 형태에 관한 시스템을 구성하는 프로세서에서의 화상에 관한 제어의 한 예를 설명하기 위한 설명도.
도 2D는 본 실시 형태에 관한 시스템을 구성하는 프로세서에서의 화상에 관한 제어의 한 예를 설명하기 위한 설명도.
도 2E는 본 실시 형태에 관한 시스템을 구성하는 프로세서에서의 화상에 관한 제어의 한 예를 설명하기 위한 설명도.
도 3은 본 실시 형태에 관한 시스템을 구성하는 센서의 구성의 한 예를 도시하는 설명도.
도 4는 본 실시 형태에 관한 시스템을 구성하는 센서에 의해 생성된 화상 데이터의 한 예를 도시하는 도면.
도 5는 본 실시 형태에 관한 시스템을 구성하는 데이터 버스상에서 전송되는 화상 데이터의 패킷열의 한 예를 도시하는 도면.
도 6은 CSI-2 규격에서 정하여진 패킷의 포맷을 도시하는 도면.
도 7은 CSI-2 규격에서 정하여진 패킷의 포맷을 도시하는 도면.
도 8은 본 실시 형태에 관한 시스템을 구성하는 메모리상에 확보된 프레임 버퍼의 한 예를 도시하는 도면.
도 9는 본 실시 형태에 관한 시스템을 구성하는 프로세서에 의한 화상에 관한 제어에 의해, 센서로부터 출력되는 화상 데이터의 패킷 구성례를 도시하는 설명도.
도 10은 본 실시 형태에 관한 시스템을 구성하는 프로세서에서의 화상에 관한 제어에 관한 처리(본 실시 형태에 관한 제어 방법에 관한 처리)의 한 예를 도시하는 흐름도.
도 11은 본 실시 형태에 관한 시스템을 구성하는 복수의 센서 각각으로부터 출력되는 화상 데이터의 패킷열의 제1의 예를 도시하는 도면.
도 12는 본 실시 형태에 관한 시스템을 구성하는 프로세서가 수신하는 패킷열의 제1의 예를 도시하는 도면.
도 13은 본 실시 형태에 관한 시스템을 구성하는 메모리상의 프레임 버퍼에 기억된, 화상 데이터의 패킷열의 제1의 예를 도시하는 도면.
도 14는 본 실시 형태에 관한 시스템을 구성하는 복수의 센서 각각으로부터 출력되는 화상 데이터의 패킷열의 제2의 예를 도시하는 도면.
도 15는 본 실시 형태에 관한 시스템을 구성하는 프로세서가 수신하는 패킷열의 제2의 예를 도시하는 도면.
도 16은 본 실시 형태에 관한 시스템을 구성하는 메모리상의 프레임 버퍼에 기억된, 화상 데이터의 패킷열의 제2의 예를 도시하는 도면.
도 17은 본 실시 형태에 관한 시스템을 구성하는 복수의 센서 각각으로부터 출력되는 화상 데이터의 패킷열의 제3의 예를 도시하는 도면.
도 18은 본 실시 형태에 관한 시스템을 구성하는 프로세서가 수신하는 패킷열의 제3의 예를 도시하는 도면.
도 19는 본 실시 형태에 관한 시스템을 구성하는 메모리상의 프레임 버퍼에 기억된, 화상 데이터의 패킷열의 제3의 예를 도시하는 도면.
도 20은 본 실시 형태에 관한 시스템을 구성하는 복수의 센서 각각으로부터 출력되는 화상 데이터의 패킷열의 제4의 예를 도시하는 도면.
도 21은 본 실시 형태에 관한 시스템을 구성하는 프로세서가 수신하는 패킷열의 제4의 예를 도시하는 도면.
도 22는 본 실시 형태에 관한 시스템을 구성하는 메모리상의 프레임 버퍼에 기억된, 화상 데이터의 패킷열의 제4의 예를 도시하는 도면.
이하에 첨부 도면을 참조하면서, 본 개시의 알맞은 실시의 형태에 관해 상세히 설명한다. 또한 본 명세서 및 도면에서. 실질적으로 동일한 기능 구성을 갖는 구성 요소에 관해서는 동일한 부호를 붙임에 의해 중복 설명을 생략한다.
또한 이하에서는 하기에 나타내는 순서로 설명을 행한다.
1. 본 실시 형태에 관한 시스템의 구성
2. 본 실시 형태에 관한 시스템에서의 화상의 출력례
3. 본 실시 형태에 관한 프로그램
(본 실시 형태에 관한 시스템의 구성)
도 1은 본 실시 형태에 관한 시스템(1000)의 구성의 한 예를 도시하는 설명도이다. 시스템(1000)으로서는 예를 들면, 스마트 폰 등의 통신 장치나, 드론(원격 조작에 의한 동작, 또는, 자율적인 동작이 가능한 기기), 자동차 등의 이동체 등을 들 수 있다. 또한 시스템(1000)의 적용례는, 상기에 나타내는 예로 한정되지 않는다. 시스템(1000)의 다른 적용례에 관해서는 후술한다.
시스템(1000)은 예를 들면, 프로세서(100)(본 실시 형태에 관한 처리 장치)와, 화상을 출력하는 기능을 갖는 복수의 센서(200A, 200B, 200C, …)(본 실시 형태에 관한 화상 센서)와, 메모리(300)와, 표시 디바이스(400)를 갖는다. 이하에서는 복수의 센서(200A, 200B, 200C, …)를 총칭하여, 또는, 복수의 센서(200A, 200B, 200C, …) 중의 하나의 센서를 대표적으로 나타내어, 「센서(200)」로 나타내는 경우가 있다.
또한 도 1에서는 3 이상의 센서(200)를 갖는 시스템(1000)을 도시하고 있지만, 본 실시 형태에 관한 시스템이 갖는 센서(200)의 수는, 도 1에 도시하는 예로 한정되지 않는다. 예를 들면, 본 실시 형태에 관한 시스템은 2개의 센서(200), 3개의 센서(200) 등, 2 이상의 임의의 수의 센서(200)를 갖고 있어도 좋다. 이하에서는 설명의 편의상, 시스템(1000)이 갖는 복수의 센서(200) 중의 2개의 센서(200)로부터 화상이 출력되는 경우, 또는, 시스템(1000)이 갖는 복수의 센서(200) 중의 3개의 센서(200)로부터 화상이 출력되는 경우를 예로 든다.
프로세서(100)와 복수의 센서(200) 각각은 하나의 데이터 버스(B1)에 의해 전기적으로 접속된다. 데이터 버스(B1)는, 프로세서(100)와 센서(200) 각각을 접속하는 하나의 신호의 전송로이다. 예를 들면, 센서(200) 각각으로부터 출력되는 화상을 나타내는 데이터(이하, 「화상 데이터」로 나타내는 경우가 있다.)가 센서(200)로부터 프로세서(100)에 데이터 버스(B1)를 통하여 전송된다.
시스템(1000)에서 데이터 버스(B1)에 의해 전송되는 신호는, 예를 들면, CSI-2 규격, PCI Express 등의, 전송되는 데이터의 시작과 종료가 소정의 데이터에 의해 특정되는 임의의 규격에 의해, 전송된다. 상기 소정의 데이터로서는 예를 들면, CSI-2 규격에서의 프레임의 시작 패킷, CSI-2 규격에서의 프레임의 종료 패킷 등을 들 수 있다. 이하에서는 데이터 버스(B1)에 의해 전송되는 신호가 CSI-2 규격에 의해 전송되는 예를 나타낸다.
또한 프로세서(100)와 복수의 센서(200) 각각은 데이터 버스(B1)와는 다른 제어 버스(B2)에 의해 전기적으로 접속된다. 제어 버스(B2)는, 프로세서(100)와 센서(200) 각각을 접속하는 다른 신호의 전송로이다. 예를 들면, 프로세서(100)로부터 출력되는 제어 정보(후술한다)가 프로세서(100)로부터 센서(200)로 제어 버스(B2)를 통하여 전송된다. 이하에서는 데이터 버스(B1)와 마찬가지로, 제어 버스(B2)에 의해 전송되는 신호가 CSI-2 규격에 의해 전송되는 예를 나타낸다. 또한 도 1에서는 프로세서(100)와 복수의 센서(200) 각각이 하나의 제어 버스(B2)에 의해 접속되는 예를 도시하고 있지만, 본 실시 형태에 관한 시스템은 센서(200)마다 제어 버스가 마련된 구성을 취하는 것도 가능하다. 또한 프로세서(100)와 복수의 센서(200) 각각은 제어 버스(B2)를 통하여 제어 정보(후술한다)를 송수신하는 구성으로 한정되지 않고, 예를 들면, 후술하는 제어 정보의 송수신을 행하는 것이 가능한 임의의 통신 방식의 무선 통신에 의해 제어 정보(후술한다)를 송수신하는 구성이라도 좋다.
[1] 프로세서(100)(본 실시 형태에 관한 처리 장치)
프로세서(100)는, MPU(Micro Processing Unit) 등의 연산 회로로 구성되는, 1 또는 2 이상의 프로세서나, 각종 처리 회로 등으로 구성된다. 프로세서(100)는, 배터리 등의 시스템(1000)을 구성하는 내부 전원(도시 생략)으로부터 공급되는 전력, 또는, 시스템(1000)의 외부 전원으로부터 공급되는 전력에 의해, 구동한다.
프로세서(100)는, 본 실시 형태에 관한 처리 장치의 한 예이다. 본 실시 형태에 관한 처리 장치는, 후술하는 처리부에서의 처리(본 실시 형태에 관한 제어 방법에 관한 처리)를 행하는 것이 가능한 임의의 회로, 임의의 디바이스에 적용하는 것이 가능하다.
프로세서(100)는, "데이터 버스(B1)에 접속되는 복수의 센서(200) 각각으로부터 데이터 버스(B1)를 통하여 출력되는 화상에 관한 제어(본 실시 형태에 관한 제어 방법에 관한 제어)"를 행한다.
화상에 관한 제어는, 예를 들면, 프로세서(100)가 구비하는 처리부(102)에서 행하여진다. 프로세서(100)에서는 화상에 관한 제어를 행하는 특정한 프로세서(또는 특정하는 처리 회로), 또는, 복수의 프로세서(또는 복수의 처리 회로)가 처리부(102)의 역할을 다한다.
또한 처리부(102)는, 프로세서(100)에서의 기능을 편의상 잘라 나눈 것이다. 따라서, 프로세서(100)에서는 예를 들면, 본 실시 형태에 관한 화상에 관한 제어가 복수의 기능 블록에 의해 행하여져도 좋다. 이하에서는 본 실시 형태에 관한 화상에 관한 제어가 처리부(102)에서 행하여지는 경우를 예로 든다.
[1-1] 본 실시 형태에 관한 화상에 관한 제어의 한 예
처리부(102)는, 센서(200) 각각에 대해 제어 정보를 송신함에 의해, 화상에 관한 제어를 행한다.
본 실시 형태에 관한 제어 정보에는, 예를 들면, 센서(200)를 나타내는 식별 정보와, 제어를 위한 정보와, 처리 명령이 포함된다. 본 실시 형태에 관한 식별 정보로서는 예를 들면, 센서(200)에 설정되어 있는 ID 등의, 센서(200)를 특정하는 것이 가능한 임의의 데이터를 들 수 있다. 또한 본 실시 형태에 관한 제어를 위한 정보의 구체례에 관해서는 후술한다.
제어 정보는, 상술한 바와 같이 예를 들면 제어 버스(B2)를 통하여 송신된다.
또한 처리부(102)에 의해 송신된 제어 정보는, 예를 들면, 센서(200) 각각이 구비하는 레지스터(기록 매체의 한 예)에 기록된다. 그리고, 후술하는 바와 같이 센서(200)는, 레지스터에 기억되어 있는 제어 정보에 의거하여 화상을 출력한다.
처리부(102)는, 화상에 관한 제어로서, 예를 들면 하기한 (1)에 나타내는 제1의 예에 관한 제어∼하기한 (4)에 나타내는 제4의 예에 관한 제어의 어느 하나의 제어를 행한다. 또한 본 실시 형태에 관한 화상에 관한 제어에 의해 실현되는, 시스템(1000)에서의 화상의 출력례에 관해서는 후술한다.
(1) 화상에 관한 제어의 제1의 예 : 화상의 연결의 제어
처리부(102)는, 센서(200) 각각으로부터 출력되는 복수의 화상의 연결의 제어를 행한다.
보다 구체적으로는, 처리부(102)는, 예를 들면, 센서(200) 각각으로부터 출력되는 복수의 화상에서의 프레임의 시작과 프레임의 종료를 제어함에 의해, 복수의 화상의 연결을 제어한다.
센서(200) 각각에서의 프레임의 시작은 예를 들면, 처리부(102)가 센서(200) 각각에서의 프레임의 시작 패킷의 출력을 제어함에 의해, 제어된다. 프레임의 시작 패킷으로서는 예를 들면, CSI-2 규격에서의 "FS(Frame Start) 패킷"을 들 수 있다. 이하에서는 프레임의 시작 패킷을 「FS」 또는 「FS 패킷」으로 나타내는 경우가 있다.
처리부(102)는, 예를 들면, 프레임의 시작 패킷을 출력하는지를 나타내는 데이터(제1 출력 정보. 제어를 위한 정보의 한 예)를 포함하는 제어 정보를 센서(200)에 대해 송신함에 의해, 센서(200)에서의 프레임의 시작 패킷의 출력을 제어한다. 상기 프레임의 시작 패킷을 출력하는지를 나타내는 데이터로서는 예를 들면, 프레임의 시작 패킷을 출력하는지의 여부를 나타내는 플래그를 들 수 있다.
또한 센서(200) 각각에서의 프레임의 종료는, 예를 들면, 처리부(102)가 센서(200) 각각에서의 프레임의 종료 패킷의 출력을 제어함에 의해, 제어된다. 프레임의 종료 패킷으로서는 예를 들면, CSI-2 규격에서의 "FE(Frame End) 패킷"을 들 수 있다. 이하에서는 프레임의 종료 패킷을 「FE」 또는 「FE 패킷」으로 나타내는 경우가 있다.
처리부(102)는, 예를 들면, 프레임의 종료 패킷을 출력하는지를 나타내는 데이터(제2 출력 정보. 제어를 위한 정보의 한 예)를 포함하는 제어 정보를 센서(200)에 대해 송신함에 의해, 센서(200)에서 프레임의 종료 패킷의 출력을 제어한다. 상기 프레임의 종료 패킷을 출력하는지를 나타내는 데이터로서는 예를 들면, 프레임의 종료 패킷을 출력하는지의 여부를 나타내는 플래그를 들 수 있다.
예를 들면 상기한 바와 같이 처리부(102)에 의해, 센서(200) 각각으로부터 출력되는 복수의 화상에서의 프레임의 시작과 프레임의 종료가 제어됨에 의해, 복수의 센서(200)로부터는, 하기한 바와 같은 화상을 나타내는 데이터가 출력된다.
- 프레임의 시작 패킷 및 프레임의 종료 패킷을 포함하는 데이터
- 프레임의 시작 패킷만을 포함하는 데이터
- 프레임의 종료 패킷만을 포함하는 데이터
- 프레임의 시작 패킷 및 프레임의 종료 패킷을 포함하지 않는 데이터
복수의 센서(200)로부터 데이터 버스(B1)를 통하여 전송되는 복수의 화상을 수신하는 프로세서(100)는, 수신된 화상에 포함되는 프레임의 시작 패킷에 의거하여, 어느 프레임에서의 화상의 전송이 시작된 것을 인식한다.
또한 프로세서(100)는, 수신된 화상에 포함되는 프레임의 종료 패킷에 의거하여, 어느 프레임에서의 화상의 전송이 종료된 것을 인식한다.
또한 프로세서(100)는, 수신된 화상에, 프레임의 시작 패킷과 프레임의 종료 패킷이 포함되지 않은 경우에는, 어느 프레임에서의 화상의 전송이 시작된 것 및 어느 프레임에서의 화상의 전송이 종료된 것을 인식하지 않는다. 또한 프로세서(100)는, 상기한 경우에 있어서. 어느 프레임에서의 화상의 전송이 행하여지고 있는 도중이라고 인식하여도 좋다.
따라서, 복수의 센서(200)로부터 데이터 버스(B1)를 통하여 전송되는 복수의 화상을 수신하는 프로세서(100)에서는 하기한 (a), (b)에 나타내는 바와 같은 처리가 실현된다. 또한 데이터 버스(B1)에, 화상을 처리하는 것이 가능한 다른 처리 회로가 접속되어 있는 경우, 복수의 센서(200)로부터 출력되는 화상의 처리는, 당해 다른 처리 회로에 의해 행하여져도 좋다. 이하에서는 프로세서(100)가 구비하는 처리부(102)가 복수의 센서(200)로부터 출력되는 화상의 처리를 행하는 경우를 예로 든다.
(a) 복수의 센서(200)로부터 출력되는 화상의 처리의 제1의 예
하나의 센서(200)로부터 송신되는 데이터에, 프레임의 시작 패킷 및 프레임의 종료 패킷이 포함되는 경우, 처리부(102)는, 당해 하나의 센서(200)로부터 출력되는 화상을 단체(單體)의 화상으로서 처리한다.
(b) 복수의 센서(200)로부터 출력되는 화상의 처리의 제2의 예
"하나의 센서(200)로부터 송신되는 데이터에 프레임의 시작 패킷이 포함되고, 당해 프레임의 시작 패킷이 포함되는 데이터의 수신 후에 수신된 다른 센서(200)로부터 송신되는 데이터에, 프레임의 종료 패킷이 포함되는 경우"에는, 처리부(102)는, 프레임의 시작 패킷이 포함되는 데이터에서의 화상과, 프레임의 종료 패킷이 포함되는 데이터에서의 화상을 합성한다.
또한 "제2의 예에서의 상기한 경우에 있어서 프레임의 종료 패킷이 포함되는 데이터가 수신되기 전에, 1 또는 2 이상의 다른 센서(200)로부터 송신된 프레임의 시작 패킷 및 프레임의 종료 패킷을 포함하지 않는 데이터가 수신된 때"에는, 처리부(102)는, 프레임의 시작 패킷이 포함되는 데이터에서의 화상, 프레임의 시작 패킷 및 프레임의 종료 패킷을 포함하지 않는 데이터에서의 화상 및 프레임의 종료 패킷이 포함되는 데이터에서의 화상을 합성한다.
처리부(102)가 프레임의 시작 패킷과 프레임의 종료 패킷에 의거하여, 상기한 바와 같이 복수의 센서(200)로부터 송신된 화상을 합성함에 의해, 복수의 센서(200)로부터 송신된 복수의 화상의 연결이 실현된다.
또한 본 실시 형태에 관한 복수의 화상의 연결의 제어는, 상기에 나타내는 예로 한정되지 않는다.
예를 들면, 처리부(102)는, 또한 센서(200) 각각으로부터 출력되는 복수의 화상에 대한 식별자의 부여를 제어함에 의해, 복수의 화상의 연결을 제어하는 것이 가능하다.
여기서, 본 실시 형태에 관한 식별자란, 센서(200)로부터 출력되는 화상을 식별하는 것이 가능한 데이터이다. 본 실시 형태에 관한 식별자로서는 예를 들면, CSI-2 규격에서 규정되어 있는 VC(Virtual Channel)값(「VC 번호」로 나타내는 경우도 있다.)와, CSI-2 규격에서 규정되어 있는 DT(Data Type)값의 일방 또는 쌍방을 들 수 있다. 또한 본 실시 형태에 관한 식별자는, 상기에 나타내는 예로 한정되지 않고, 복수의 센서(200)로부터 송신된 복수의 화상의 연결의 제어에 있어서. 화상의 식별에 이용하는 것이 가능한 임의의 데이터를 들 수 있다.
처리부(102)는, 예를 들면, 화상의 식별자를 나타내는 데이터(제3 출력 정보. 제어를 위한 정보의 한 예)를 포함하는 제어 정보를 센서(200)에 대해 송신함에 의해, 센서(200)로부터 출력되는 화상에 대한 식별자의 부여를 제어한다.
센서(200)로부터 송신되는 데이터에 식별자가 포함되는 경우, 처리부(102)는, 어느 프레임에서 다른 식별자가 부여된 화상을 다른 화상이라고 인식한다. 즉, 센서(200)로부터 송신되는 데이터에 식별자가 포함되는 경우, 처리부(102)는, 다른 식별자가 부여된 화상을 연결하지 않는다.
따라서, 처리부(102)가 프레임의 시작과 프레임의 종료의 제어에 더하여, 센서(200) 각각으로부터 출력되는 복수의 화상에 대한 식별자의 부여를 또한 제어함에 의해, 프레임의 시작과 프레임의 종료를 제어하는 경우보다도, 보다 다양한 화상의 연결의 제어를 실현하는 것이 가능해진다.
도 2A∼도 2E는, 본 실시 형태에 관한 시스템(1000)을 구성하는 프로세서(100)에서의 화상에 관한 제어의 한 예를 설명하기 위한 설명도이다. 도 2A∼도 2E 각각은 프로세서(100)에서의 화상의 연결의 제어 결과의 한 예를 도시하고 있다.
(1-1) 화상의 연결의 제어 결과의 제1의 예 : 도 2A
도 2A에 도시하는 A는, 프로세서(100)가 2개의 센서(200)로부터 데이터 버스(B1)를 통하여 취득한 어느 프레임에 대응하는 데이터의 한 예를 도시하고 있다. 도 2A에 도시하는 A에서는 하나의 센서(200)와 다른 센서(200)로부터 하기에 나타내는 데이터가 수신된 예를 도시하고 있다.
- 하나의 센서(200) : 라인마다의 화상 데이터, 프레임의 시작 패킷, 프레임의 종료 패킷 및 VC값 "0"(식별자의 한 예. 이하, 마찬가지라고 한다.)을 포함하는 데이터
- 다른 센서(200) : 라인마다의 화상 데이터, 프레임의 시작 패킷, 프레임의 종료 패킷 및 VC값 "1"(식별자의 한 예. 이하, 마찬가지라고 한다.)을 포함하는 데이터
또한 도 2A에 도시하는 B는, 도 2A의 A에 나타내는 데이터가 메모리(300)의 프레임 버퍼에 기억되는 경우에 있어서, 기억 이미지를 도시하고 있다. 또한 도 2A의 A에 나타내는 데이터는, 프로세서(100)가 구비하는 기록 매체 등의 다른 기록 매체에 기억되어도 좋다.
도 2A의 A에 도시하는 바와 같은 데이터가 수신된 경우, 처리부(102)는, 예를 들면 도 2A의 B에 도시하는 바와 같이 VC값마다의 프레임 버퍼에, 분리하여 화상을 기록한다.
(1-2) 화상의 연결의 제어 결과의 제2의 예 : 도 2B
도 2B에 도시하는 A는, 프로세서(100)가 2개의 센서(200)로부터 데이터 버스(B1)를 통하여 취득한 어느 프레임에 대응하는 데이터의 한 예를 도시하고 있다. 도 2B에 도시하는 A에서는 하나의 센서(200)와 다른 센서(200)로부터 하기에 나타내는 데이터가 수신된 예를 도시하고 있다.
- 하나의 센서(200) : 라인마다의 화상 데이터, 프레임의 시작 패킷, 프레임의 종료 패킷 및 VC값 "0"을 포함하는 데이터
- 다른 센서(200) : 라인마다의 화상 데이터, 프레임의 시작 패킷, 프레임의 종료 패킷 및 VC값 "0"을 포함하는 데이터
도 2B의 A에 도시하는 바와 같은 데이터가 수신된 경우, 처리부(102)는, 예를 들면 도 2B의 B에 도시하는 바와 같이 동일 VC치용의 프레임 버퍼에 화상을 기록한다. 도 2B의 B에 도시하는 화상의 기억은 예를 들면, 더블 버퍼 등에 의해 실현된다.
(1-3) 화상의 연결의 제어 결과의 제3의 예 : 도 2C
도 2C에 도시하는 A는, 프로세서(100)가 2개의 센서(200)로부터 데이터 버스(B1)를 통하여 취득한 어느 프레임에 대응하는 데이터의 한 예를 도시하고 있다. 도 2C에 도시하는 A에서는 하나의 센서(200)와 다른 센서(200)로부터 하기에 나타내는 데이터가 수신된 예를 도시하고 있다.
- 하나의 센서(200) : 라인마다의 화상 데이터, 프레임의 시작 패킷 및 VC값 "0"을 포함하는 데이터
- 다른 센서(200) : 라인마다의 화상 데이터, 프레임의 종료 패킷 및 VC값 "0"을 포함하는 데이터
도 2C의 A에 도시하는 바와 같은 데이터가 수신된 경우, 처리부(102)는, 예를 들면 도 2C의 B에 도시하는 바와 같이 2개의 화상을 수직방향으로 연결하여, 프레임 버퍼에 화상을 기록한다.
(1-4) 화상의 연결의 제어 결과의 제4의 예 : 도 2D
도 2D에 도시하는 A는, 프로세서(100)가 2개의 센서(200)로부터 데이터 버스(B1)를 통하여 취득한 어느 프레임에 대응하는 데이터의 한 예를 도시하고 있다. 도 2D에 도시하는 A에서는 하나의 센서(200)와 다른 센서(200)로부터 하기에 나타내는 데이터가 수신된 예를 도시하고 있다.
- 하나의 센서(200) : 라인마다의 화상 데이터, 프레임의 시작 패킷, 프레임의 종료 패킷 및 VC값 "0"을 포함하는 데이터
- 다른 센서(200) : 라인마다의 화상 데이터, 프레임의 시작 패킷, 프레임의 종료 패킷 및 VC값 "1"을 포함하는 데이터
도 2D의 A에 도시하는 바와 같은 데이터가 수신된 경우, 처리부(102)는, 예를 들면 도 2D의 B에 도시하는 바와 같이 VC값마다의 프레임 버퍼에, 분리하여 화상을 기록한다.
(1-5) 화상의 연결의 제어 결과의 제5의 예 : 도 2E
도 2E에 도시하는 A는, 프로세서(100)가 2개의 센서(200)로부터 데이터 버스(B1)를 통하여 취득한 어느 프레임에 대응하는 데이터의 한 예를 도시하고 있다. 도 2E에 도시하는 A에서는 하나의 센서(200)와 다른 센서(200)로부터 하기에 나타내는 데이터가 수신된 예를 도시하고 있다.
- 하나의 센서(200) : 라인마다의 화상 데이터, 프레임의 시작 패킷 및 VC값 "0"을 포함하는 데이터
- 다른 센서(200) : 라인마다의 화상 데이터, 프레임의 종료 패킷 및 VC값 "0"을 포함하는 데이터
도 2E의 A에 도시하는 바와 같은 데이터가 수신된 경우, 처리부(102)는, 예를 들면 도 2E의 B에 도시하는 바와 같이 2개의 화상을 수평방향으로 연결하여, 프레임 버퍼에 화상을 기록한다.
프로세서(100)의 처리부(102)에서의 화상의 연결의 제어에 의해, 예를 들면 도 2A∼도 2E에 도시하는 바와 같이 화상이 선택적으로 연결된다. 또한 본 실시 형태에 관한 프로세서(100)의 처리부(102)에 의한 화상의 연결의 제어 결과의 예가 도 2A∼도 2E에 도시하는 예로 한정되지 않음은 말할 필요도 없다.
(2) 화상에 관한 제어의 제2의 예 : 출력되는 화상의 제어
처리부(102)는, 센서(200)로부터 출력되는 화상의 제어를 행한다. 본 실시 형태에 관한 센서(200)로부터 출력되는 화상의 제어로서는 예를 들면, 센서(200) 각각으로부터 출력되는 화상 사이즈의 제어와, 복수의 센서(200) 각각으로부터 출력되는 화상의 프레임 레이트의 제어의 일방 또는 쌍방을 들 수 있다.
처리부(102)는, 예를 들면, 화상 사이즈를 나타내는 데이터와, 프레임 레이트를 나타내는 데이터의 일방 또는 쌍방(제어를 위한 정보의 한 예)을 포함하는 제어 정보를 센서(200)에 대해 송신함에 의해, 센서(200)로부터 출력되는 화상을 제어한다.
(3) 화상에 관한 제어의 제3의 예 : 화상의 출력 타이밍 제어
처리부(102)는, 화상 센서 각각으로부터 출력되는 화상의 출력 타이밍을 제어한다.
처리부(102)는, 예를 들면, 화상의 출력 명령이 수신되고 나서 화상을 출력할 때까지의 출력 지연량을 나타내는 데이터(제어를 위한 정보의 한 예)를 포함하는 제어 정보를 센서(200)에 대해 송신함에 의해, 센서(200)로부터 출력되는 화상의 출력 타이밍을 제어한다.
(4) 화상에 관한 제어의 제4의 예
처리부(102)는, 상기 (1)에 나타내는 제1의 예에 관한 제어∼상기 (3)에 나타내는 제3의 예에 관한 제어 중의 2 이상의 제어를 행하여도 좋다.
처리부(102)는, 화상에 관한 제어로서, 예를 들면 상기 (1)에 나타내는 제1의 예에 관한 제어∼상기 (4)에 나타내는 제4의 예에 관한 제어를 행한다.
프로세서(100)는, 예를 들면 처리부(102)를 구비함에 의해, 상술한 바와 같은 화상에 관한 제어에 관한 처리(본 실시 형태에 관한 제어 방법에 관한 처리)를 행한다.
또한 프로세서(100)에서 행하여지는 처리는, 상술한 바와 같은 화상에 관한 제어에 관한 처리로 한정되지 않는다.
예를 들면, 프로세서(100)는, 도 2A∼도 2E를 참조하여 도시한 바와 같은 메모리(300) 등의 기록 매체에의 화상 데이터의 기록 제어에 관한 처리, 표시 디바이스(400)의 표시 화면에의 화상의 표시 제어에 관한 처리, 임의의 어플리케이션 소프트웨어를 실행하는 처리 등, 다양한 처리를 행하는 것이 가능하다. 기록 제어에 관한 처리로서는 예를 들면 "기록 명령을 포함하는 제어 데이터와 기록 매체에 기록시키는 데이터를 메모리(300) 등의 기록 매체에 전달하는 처리"를 들 수 있다. 또한 표시 제어에 관한 처리로서는 예를 들면 "표시 명령을 포함하는 제어 데이터와 표시 화면에 표시시키는 데이터를 표시 디바이스(400) 등의 표시 디바이스에 전달하는 처리"를 들 수 있다.
[2] 센서(200)(본 실시 형태에 관한 화상 센서)
센서(200)는, 화상 센서이다. 본 실시 형태에 관한 화상 센서는 예를 들면, 디지털 스틸 카메라나 디지털 비디오 카메라, 스테레오 카메라 등의 촬상 디바이스나, 적외선 센서, 거리 화상 센서 등의, 임의의 센서 디바이스를 포함하고, 생성된 화상을 출력하는 기능을 갖는다. 여기서, 센서(200)에서 생성되는 화상은 센서(200)에서 센싱 결과를 나타내는 데이터에 해당한다.
센서(200)는, 예를 들면 도 1에 도시하는 바와 같이 다른 센서(200)가 접속되는 데이터 버스(B1)에 접속된다.
또한 센서(200)는, 제어 정보에 의거하여 화상을 출력한다. 상술한 바와 같이 제어 정보는 프로세서(100)로부터 송신되고, 센서(200)는, 제어 버스(B2)를 통하여 제어 정보를 수신한다.
도 3은 본 실시 형태에 관한 시스템(1000)을 구성하는 센서(200)의 구성의 한 예를 도시하는 설명도이다. 센서(200)는, 예를 들면, 프로세서(250)와, ROM(252)과, 레지스터(254)와, 센서 디바이스(256)와, 통신 디바이스(258)를 갖는다. 또한 센서(200)에서의 각 구성 요소는, 예를 들면 내부 버스(260)로 접속된다. 센서(200)는, 배터리 등의 시스템(1000)을 구성하는 내부 전원(도시 생략)으로부터 공급되는 전력, 또는, 시스템(1000)의 외부 전원으로부터 공급되는 전력에 의해, 구동한다.
프로세서(250)는, 센서(200) 전체를 제어하는 역할을 다한다. 프로세서(250)에 의한 제어로서는 예를 들면, 레지스터(254)에의 수신된 제어 정보의 기록의 제어, 센서 디바이스(256)의 동작의 제어, 통신 디바이스(258)의 통신의 제어 등을 들 수 있다.
수신된 제어 정보의 기록의 제어에 관한 처리로서는 예를 들면, "수신된 제어 정보에 포함되는 식별 정보와, ROM(252)에 기억되어 있는 식별 정보(270)를 비교하고, 비교 결과에 의거하여, 수신된 제어 정보를 선택적으로 레지스터(254)에 기록하는 처리"를 들 수 있다. 프로세서(250)는, 예를 들면, 수신된 제어 정보에 포함되는 식별 정보와, ROM(252)에 기억되어 있는 식별 정보(270)가 일치하는 경우에, 수신된 제어 정보를 선택적으로 레지스터(254)에 기록한다.
센서 디바이스(256)의 동작의 제어에 관한 처리로서는 예를 들면, "정기적 또는 비 정기적으로, 또는, 센싱 명령을 포함하는 제어 정보가 수신된 경우에, 센서 디바이스(256)를 동작시키는 명령을 포함하는 제어 신호를 센서 디바이스(256)에 전달하는 처리"를 들 수 있다.
통신 디바이스(258)의 통신의 제어에 관한 처리로서는 예를 들면, "송신 명령과 송신하는 데이터를 포함하는 제어 신호를 통신 디바이스(258)에 전달하는 처리"를 들 수 있다.
ROM(252)은 센서(200)가 구비하는 하나의 기록 매체이다. ROM(252)에는, 예를 들면, 식별 정보가 기억된다.
레지스터(254)는, 센서(200)가 구비하는 다른 기록 매체이다. 레지스터(254)에는, 예를 들면, 제어 버스(B2)를 통하여 수신된 제어 정보가 기억된다. 또한 도 3에서는 제어 정보가 레지스터(254)에 기억되는 예를 도시하고 있지만, 제어 정보는, 플래시 메모리 등의 불휘발성 메모리나, 하드 디스크 등의 자기 기록 매체 등의, 다른 기록 매체에 기억되어도 좋다.
센서 디바이스(256)는, 화상을 생성하는 디바이스이다. 센서 디바이스(256)로서는 예를 들면, 디지털 스틸 카메라나 디지털 비디오 카메라 등의 촬상 디바이스나, 적외선 센서, 거리 화상 센서 등의, 화상을 생성하는 기능을 갖는 임의의 센서 디바이스를 들 수 있다.
통신 디바이스(258)는, 예를 들면, 데이터 버스(B1), 제어 버스(B2) 등이 접속되어 있는 외부 버스를 통하여, 외부 디바이스와 통신을 행하기 위한 디바이스이다. 통신 디바이스(258)로서는 예를 들면, CSI-2 규격, PCI Express 등의, 전송되는 데이터의 시작과 종료가 소정의 데이터에 의해 특정되는 임의의 규격에 대응하는 통신을 행하는 것이 가능한 디바이스를 들 수 있다.
센서(200)는, 예를 들면 도 3에 도시하는 구성을 가짐에 의해, 제어 정보에 의거하여 화상을 출력한다. 또한 센서(200)의 구성이 도 3에 도시하는 예로 한정되지 않음은 말할 필요도 없다.
센서(200)에서의 제어 정보에 의거한 화상의 출력에 관한 처리에 관해, 보다 구체적으로 설명한다. 센서(200)는, 제어 정보에 의거한 화상의 출력에 관한 처리로서, 예를 들면, 하기한 (I)에 나타내는 제1의 예에 관한 출력 처리∼하기한 (V)에 나타내는 제5의 예에 관한 출력 처리 중의 1 또는 2 이상을 행한다. 센서(200)에서. 하기에 나타내는 제어 정보에 의거한 화상의 출력에 관한 처리는, 예를 들면, 센서(200)를 구성하는 프로세서(250)가 레지스터(254)에 기억되어 있는 제어 정보(272)를 참조함에 의해, 행하여진다.
(I) 제1의 예에 관한 출력 처리 : 제어 정보에, 프레임의 시작 패킷을 출력하는지를 나타내는 데이터(제1 출력 정보)가 포함되는 경우
제어 정보에, 프레임의 시작 패킷을 출력하는지를 나타내는 데이터가 포함되는 경우, 센서(200)는, 프레임의 시작 패킷을 출력하는지를 나타내는 데이터에 의거하여, 선택적으로 프레임의 시작 패킷을 출력한다.
센서(200)는, 예를 들면, 프레임의 시작 패킷을 출력하는지를 나타내는 데이터가 프레임의 시작 패킷을 출력하는 것을 나타내는 경우에, 화상과 함께 프레임의 시작 패킷을 출력한다.
(Ⅱ) 제2의 예에 관한 출력 처리 : 제어 정보에, 프레임의 종료 패킷을 출력하는지를 나타내는 데이터(제2 출력 정보)가 포함되는 경우
제어 정보에, 프레임의 종료 패킷을 출력하는지를 나타내는 데이터가 포함되는 경우, 센서(200)는, 프레임의 종료 패킷을 출력하는지를 나타내는 데이터에 의거하여, 선택적으로 프레임의 종료 패킷을 출력한다.
센서(200)는, 예를 들면, 프레임의 종료 패킷을 출력하는지를 나타내는 데이터가 프레임의 종료 패킷을 출력하는 것을 나타내는 경우에, 화상과 함께 프레임의 종료 패킷을 출력한다.
(Ⅲ) 제3의 예에 관한 출력 처리 : 제어 정보에, 화상의 식별자를 나타내는 데이터(제3 출력 정보)가 포함되는 경우
제어 정보에, 화상의 식별자를 나타내는 데이터가 포함되는 경우, 센서(200)는, 화상과 함께 화상의 식별자를 나타내는 데이터가 나타내는 식별자를 출력한다. 센서(200)에서의 식별자의 출력의 구체례에 관해서는 후술한다.
(Ⅳ) 제4의 예에 관한 출력 처리 : 제어 정보에, 화상 사이즈를 나타내는 데이터와, 프레임 레이트를 나타내는 데이터의 일방 또는 쌍방이 포함되는 경우
제어 정보에 화상 사이즈를 나타내는 데이터가 포함되는 경우, 센서(200)는, 제어 정보가 나타내는 화상 사이즈의 화상을 출력한다.
또한 제어 정보에 프레임 레이트를 나타내는 데이터가 포함되는 경우, 센서(200)는, 제어 정보가 나타내는 프레임 레이트로, 화상을 출력시킨다.
또한 제어 정보에, 화상 사이즈를 나타내는 데이터와 프레임 레이트를 나타내는 데이터가 포함되는 경우, 센서(200)는, 제어 정보가 나타내는 프레임 레이트로, 제어 정보가 나타내는 화상 사이즈의 화상을 출력시킨다.
(V) 제5의 예에 관한 출력 처리 : 제어 정보에, 출력 지연량을 나타내는 데이터가 포함되는 경우
제어 정보에 출력 지연량을 나타내는 데이터가 포함되는 경우, 센서(200)는, 예를 들면, 제어 버스(B2)를 통하여 화상의 출력 명령이 수신되고 나서, 제어 정보가 나타내는 출력 지연량에 대응하는 시간이 경과한 후에, 화상을 출력시킨다.
센서(200)는, 예를 들면 상기 (I)에 나타내는 제1의 예에 관한 출력 처리∼상기 (V)에 나타내는 제5의 예에 관한 출력 처리 중의 1 또는 2 이상을 행한다. 따라서, 시스템(1000)에서는 프로세서(100)에 의해 센서(200)에 설정된 제어 정보에 의거한 화상이 센서(200) 각각으로부터 출력된다. 그리고, 시스템(1000)에서는 센서(200) 각각으로부터 데이터 버스(B1)를 통하여 출력되는 화상이 예를 들면 도 2A의 A∼도 2E의 A에 도시하는 바와 같이 프로세서(100)에 의해 취득된다.
[3] 메모리(300)
메모리(300)는, 시스템(1000)이 갖는 기록 매체이다. 메모리(300)로서는 예를 들면, RAM(Random Access Memory) 등의 휘발성 메모리나, 플래시 메모리 등의 불휘발성 메모리 등을 들 수 있다.
메모리(300)에는, 예를 들면 도 2A의 B∼도 2E의 B에 도시하는 바와 같이 센서(200) 각각으로부터 출력되는 화상이 기억된다. 메모리(300)에의 화상의 기록은 예를 들면 프로세서(100)에 의해 제어된다.
[4] 표시 디바이스(400)
표시 디바이스(400)는, 시스템(1000)이 갖는 표시 디바이스이다. 표시 디바이스(400)로서는 예를 들면, 액정 디스플레이(Liquid Crystal Display)나 유기 EL 디스플레이(Organic Electro-Luminescence Display. 또는, OLED 디스플레이(Organic Light Emitting Diode Display)라고도 불린다.) 등을 들 수 있다.
표시 디바이스(400)의 표시 화면에는, 예를 들면, 센서(200) 각각으로부터 출력된 화상이나, 프로세서(100)에서 실행되는 어플리케이션에 관한 화면, UI(User Interface)에 관한 화면 등, 다양한 화상이나 화면이 표시된다. 표시 디바이스(400)의 표시 화면에의 화상 등의 표시는, 예를 들면 프로세서(100)에 의해 제어된다.
[5] 시스템(1000)이 이루는 효과 및 시스템(1000)의 변형례
시스템(1000)은 예를 들면 도 1에 도시하는 구성을 갖는다.
시스템(1000)에서는 프로세서(100)와 복수의 센서(200)가 데이터 버스(B1)에 의해 접속된다. 또한 시스템(1000)에서 복수의 센서(200)로부터 출력되는 화상은 프로세서(100)에 의해 화상에 관한 제어가 행하여짐에 의해, 제어된다. 따라서, 시스템(1000)에서는 프로세서(100)는, 복수의 센서(200)가 독립적으로 출력하는 화상을 데이터 버스(B1)를 통하여 수신할 수 있다.
따라서 시스템(1000)에서는 프로세서(100)(본 실시 형태에 관한 처리 장치)와 복수의 센서(200)(본 실시 형태에 관한 화상 센서)를 접속하는 경우에, 프로세서(100)에 접속되는 데이터 버스의 수를 줄일 수 있다.
또한 시스템(1000)에서는 프로세서(100)에 접속되는 데이터 버스의 수를 줄일 수 있음에 의해, 하기한 바와 같은 효과가 이루어진다.
- 프로세서(100)와 복수의 센서(200)를 접속하는 배선 영역을 보다 작게 할 수 있다
- 예를 들면 데이터 버스를 접속하기 위한 단자수가 감소하는 등에 의해, 프로세서(100)의 하드웨어 구성을 보다 간략화할 수 있다.
또한 예를 들면 도 2A∼도 2E에 도시하는 바와 같이 센서(200) 각각으로부터 출력되는 복수의 화상은 독립된 화상, 또는, 2 이상의 화상이 수직방향 또는 수평방향으로 연결된 화상으로서, 프로세서(100)에 의해 수신된다. 프로세서(100)는, 센서(200) 각각으로부터 출력되는 복수의 화상을 독립된 화상, 또는, 2 이상의 화상이 수직방향 또는 수평방향으로 연결된 화상으로서 인식하여, 메모리(300) 등의 기록 매체에의 기록에 관한 처리나 표시 디바이스(400) 등의 표시 디바이스에의 표시에 관한 처리 등의 소정의 처리를 행한다.
따라서 시스템(1000)에 의해 "복수의 센서(200)가 각각 독립하여 출력하는 복수의 화상을 데이터 버스(B1)상에서 연결 또는 분리하는 기구"가 실현된다.
또한 본 실시 형태에 관한 시스템의 구성은 도 1에 도시하는 예로 한정되지 않는다.
예를 들면, 시스템의 외부의 기록 매체에 복수의 센서(200)로부터 출력되는 화상이 기억되는 경우, 또는, 복수의 센서(200)로부터 출력되는 화상이 프로세서(100)가 구비하는 메모리에 기억되는 경우에는, 본 실시 형태에 관한 시스템은 도 1에 도시하는 메모리(300)를 갖지 않아도 좋다.
또한 본 실시 형태에 관한 시스템은 도 1에 도시하는 표시 디바이스(400)를 갖지 않는 구성을 취하는 것도 가능하다.
또한 본 실시 형태에 관한 시스템은 후술하는 본 실시 형태에 관한 시스템이 적용되는 전자 기기가 갖는 기능에 응한 임의의 구성을 갖고 있어도 좋다.
또한 본 실시 형태에 관한 시스템은 프로세서에 M개(M은 센서(200)의 수보다도 작은 정수)의 데이터 버스가 접속되는 구성이라도 좋다. 본 실시 형태에 관한 시스템이 프로세서에 M개(M은 시스템이 갖는 센서(200)의 수보다도 작은 정수)의 데이터 버스가 접속되는 구성이라도, CSI-2 규격과 같은 기존의 규격을 단지 이용하는 경우보다도, 프로세서에 접속되는 데이터 버스의 수를 줄일 수 있다.
[6] 본 실시 형태에 관한 시스템의 적용례
이상, 본 실시 형태로서, 시스템을 들어서 설명하였지만, 본 실시 형태는, 이러한 형태로 한정되지 않는다. 본 실시 형태는, 예를 들면, 스마트 폰 등의 통신 장치나, 드론(원격 조작에 의한 동작, 또는, 자율적인 동작이 가능한 기기), 자동차 등의 이동체, PC(Personal Computer) 등의 컴퓨터, 태블릿형의 장치, 게임기 등, 다양한 전자 기기에 적용할 수 있다.
또한 상기에서는 본 실시 형태에 관한 시스템을 구성하는 처리 장치로서, 프로세서를 예로 들었지만, 본 실시 형태에 관한 처리 장치는, 상기에 나타내는 예로 한정되지 않는다. 예를 들면, 본 실시 형태에 관한 처리 장치는, 데이터 버스에 접속되는 복수의 화상 센서 각각으로부터 당해 데이터 버스를 통하여 출력되는 화상에 관한 제어를 행하는 것이 가능한 임의의 처리 회로, 또는, 임의의 디바이스에 적용할 수 있다.
(본 실시 형태에 관한 시스템에서의 화상의 출력례)
다음에, 상술한 시스템(1000)에서의 화상의 출력례를 설명한다. 이하에서는 데이터 버스(B1)에 의해 전송되는 신호가 CSI-2 규격에 의해 전송되는 예를 나타낸다.
도 4는, 본 실시 형태에 관한 시스템(1000)을 구성하는 센서(200)에 의해 생성된 화상 데이터의 한 예를 도시하고 있다.
센서(200)에 의해 생성된 화상 데이터는, 예를 들면 N(N은 1 이상의 정수)행의 데이터로 구성되고, 1행씩 데이터 버스(B1)에 출력된다.
도 5는, 본 실시 형태에 관한 시스템(1000)을 구성하는 데이터 버스(B1)상에서 전송되는 화상 데이터의 패킷열의 한 예를 도시하고 있고, CSI-2 규격에 따른 패킷열의 한 예를 도시하고 있다. 도 5에 도시하는 "FS"는, FS 패킷을 나타내고 있고, 도 5에 도시하는 "FE"는, FE 패킷을 나타내고 있다. 또한 도 5에 도시하는 "PH"는, 패킷 헤더를 나타내고 있고, 도 5에 도시하는 "PF"는, 패킷 푸터를 나타내고 있다.
CSI-2 규격에서는 화상 데이터의 선두에 FS 패킷(P1)이 발행된 후, 화상 데이터 패킷(P2)이 N패킷 발행되고, 최후에 FE 패킷(P3)이 발행된다. 하나의 화상 데이터 패킷(P1)과 다른 화상 데이터 패킷(P1)의 간격은 라인 블랭킹(BL1)이라고 불리고, FE 패킷(P3)과 다음의 FS 패킷(P1)의 간격은 프레임 블랭킹(BL2)라고 불린다.
도 6, 도 7은 CSI-2 규격에서 정하여진 패킷의 포맷을 도시하고 있다. 도 6은 CSI-2 규격에서 정하여진 "Short Packet"의 포맷을 도시하고 있고, 도 7은 CSI-2 규격에서 정하여진 "Long Packet"의 포맷을 도시하고 있다.
도 5에서 도시한 FS 패킷(P1)과 FE 패킷(P3)은 "Short Packet"이고, 또한 도 5에서 도시한 화상 데이터 패킷(P2)은 "Long Packet"이다.
"Short Packet"과 "Long Packet"에는, 모두 헤더 부분에 VC 번호(도 6, 도 7에 도시하는 "VC". VC값)가 기록되고, 패킷마다 임의의 VC 번호가 부여될 수 있다. 동일한 VC 번호가 부여된 패킷은 동일한 화상 데이터에 속하는 패킷으로서 취급된다.
상술한 바와 같이 시스템(1000)에서는 프로세서(100)에 의한 화상에 관한 제어에 의해, 센서(200) 각각에 대해 VC 번호가 식별자로서 부여될 수 있다.
또한 "Short Packet"과 "Long Packet"에는, 모두 헤더 부분에 DT값(도 5, 도 6에 도시하는 "Data Type")가 기록된다. 그 때문에, VC 번호와 마찬가지로, 동일한 DT값이 부여된 패킷을 동일한 화상 데이터에 속하는 패킷으로서 취급하는 것도 가능하다. 상술한 바와 같이 시스템(1000)에서는 프로세서(100)에 의한 화상에 관한 제어에 의해, 센서(200) 각각에 대해 DT값이 식별자로서 부여될 수 있다.
도 8은 본 실시 형태에 관한 시스템(1000)을 구성하는 메모리(300)상에 확보된 프레임 버퍼의 한 예를 도시하고 있다.
도 5에 도시하는 패킷열을 수신한 프로세서(100)는, 수신한 화상 데이터를 도 8에 도시하는 바와 같이 메모리(300)의 프레임 버퍼에 기록시킨다.
도 9는, 본 실시 형태에 관한 시스템(1000)을 구성하는 프로세서(100)에 의한 화상에 관한 제어에 의해, 센서(200)로부터 출력되는 화상 데이터의 패킷 구성례를 도시하는 설명도이다. 도 9에 도시하는 A∼도 9에 도시하는 D 각각이 센서(200)로부터 출력되는 화상 데이터의 패킷 구성의 한 예에 해당한다.
도 9의 A는, FS 패킷(P1)과 FE 패킷(P3)의 쌍방이 출력되는 화상 데이터의 패킷 구성의 한 예를 도시하고 있다. 도 9의 B는, FS 패킷(P1)이 출력되고, FE 패킷(P3)이 출력되지 않는 화상 데이터의 패킷 구성의 한 예를 도시하고 있다. 도 9의 C는, FS 패킷(P1)과 FE 패킷(P3)의 쌍방이 출력되지 않는 화상 데이터의 패킷 구성의 한 예를 도시하고 있다. 도 9의 D는, FE 패킷(P3)이 출력되고, FS 패킷(P1)이 출력되지 않는 화상 데이터의 패킷 구성의 한 예를 도시하고 있다.
도 10은 본 실시 형태에 관한 시스템(1000)을 구성하는 프로세서(100)에서의 화상에 관한 제어에 관한 처리(본 실시 형태에 관한 제어 방법에 관한 처리)의 한 예를 도시하는 흐름도이다. 도 10에서는 시스템(1000)이 센서(200A, 200B, 200C)라는 3개의 화상 센서를 갖고 있는 경우에 있어서, 프로세서(100)에서의 화상에 관한 제어에 관한 처리의 한 예를 도시하고 있다.
프로세서(100)는, 제어 대상의 센서(200A, 200B, 200C) 각각의 전원을 온 상태로 하여, 리셋 해제를 행한다(S100). 스텝 S100의 처리는, 예를 들면 센서(200A, 200B, 200C)를 초기화하는 처리의 한 예에 해당한다.
프로세서(100)는, 센서(200A)의 레지스터 설정을 행한다(S102). 프로세서(100)는, 제어 버스(B2)를 통하여 제어 정보를 송신함에 의해, 센서(200A)의 레지스터 설정을 행한다.
여기서, 프로세서(100)는, 예를 들면, 센서(200A)가 지정되고, 또한 센서(200A)가 구비하는 레지스터의 어드레스가 지정된 제어 정보를 송신함에 의해, 센서(200A)의 레지스터 설정을 행한다. 또한 프로세서(100)는, 예를 들면, 제어 대상의 모든 센서(200)가 지정되고, 또한 센서(200)가 구비하는 레지스터의 어드레스가 지정된 제어 정보를 송신함에 의해, 센서(200A)의 레지스터 설정을 행하는 것도 가능하다. 제어 대상의 모든 센서(200)가 지정되고, 또한 센서(200)가 구비하는 레지스터의 어드레스가 지정된 제어 정보가 송신되는 것은 예를 들면, 모든 센서(200)가 구비하는 레지스터에 동일한 데이터를 동기하여 기록시키는 경우에 유효하다.
프로세서(100)는, 센서(200B)의 레지스터 설정을 행한다(S104). 프로세서(100)는, 스텝 S102와 마찬가지로, 제어 버스(B2)를 통하여 제어 정보를 송신함에 의해, 센서(200B)의 레지스터 설정을 행한다.
프로세서(100)는, 센서(200C)의 레지스터 설정을 행한다(S106). 프로세서(100)는, 스텝 S102와 마찬가지로, 제어 버스(B2)를 통하여 제어 정보를 송신함에 의해, 센서(200C)의 레지스터 설정을 행한다.
프로세서(100)는, 센서(200A, 200B, 200C) 각각에, 촬상 및 데이터 버스(B1)에의 화상 데이터의 출력을 행하게 한다(S108). 프로세서(100)는, 제어 버스(B2)를 통하여 제어 정보를 송신함에 의해, 센서(200A, 200B, 200C) 각각에, 촬상 및 데이터 버스(B1)에의 화상 데이터의 출력을 행하게 한다.
프로세서(100)는, 화상에 관한 제어에 관한 처리로서, 예를 들면 도 10에 도시하는 처리를 행한다. 또한 화상에 관한 제어에 관한 처리의 예가 도 10에 도시하는 예로 한정되지 않음은 말할 필요도 없다.
예를 들면 도 10에 도시하는 바와 같은 프로세서(100)에 의한 화상에 관한 제어에 의해, 센서(200)가 구비하는 레지스터에 제어 정보가 기록된다. 또한 센서(200)는, 상술한 바와 같이 제어 정보에 의거하여 화상을 출력한다.
따라서, 예를 들면 도 10에 도시하는 바와 같은 프로세서(100)에 의한 화상에 관한 제어에 의해, 센서(200)로부터는, 도 9의 A∼도 9의 D의 어느 하나의 패킷 구성을 갖는 화상 데이터가 출력된다.
이하, 시스템(1000)에서의 화상의 출력례를 센서(200A, 200B, 200C)로부터 출력되는 화상 데이터의 패킷열의 예마다, 설명한다.
[i] 시스템(1000)에서의 화상의 출력의 제1의 예
도 11은 본 실시 형태에 관한 시스템(1000)을 구성하는 복수의 센서(200) 각각으로부터 출력되는 화상 데이터의 패킷열의 제1의 예를 도시하고 있다.
도 11에 도시하는 A는, 센서(200A)로부터 출력되는 화상 데이터의 패킷열의 한 예를 도시하고 있고, 도 11에 도시하는 B는, 센서(200B)로부터 출력되는 화상 데이터의 패킷열의 한 예를 도시하고 있다. 또한 도 11에 도시하는 C는, 센서(200C)로부터 출력되는 화상 데이터의 패킷열의 한 예를 도시하고 있다. 도 11에서는 센서(200A, 200B, 200C) 각각으로부터, 도 9의 A에 도시하는 구성(FS 패킷(P1)과 FE 패킷(P3)의 쌍방이 출력되는 화상 데이터의 패킷 구성)의 패킷열이 출력되는 예를 도시하고 있다.
도 11에서 센서(200A, 200B, 200C)에서의 화상의 출력은 동기 신호(Vsync)에 의해 동기하여 있다.
예를 들면, 센서(200A)로부터 출력되는 화상 데이터의 패킷열은 도 11의 A에 도시하는 바와 같이 동기 신호(Vsync)의 수신 직후에 출력된다. 또한 센서(200B)로부터 출력되는 화상 데이터의 패킷열은 도 11의 B에 도시하는 바와 같이 동기 신호(Vsync)의 수신 후, 센서(200B)에 설정된 프레임 블랭킹(BL2)(제어 정보가 나타내는 출력 지연량에 해당한다.)이 경과한 후에, 출력된다. 또한 센서(200C)로부터 출력되는 화상 데이터의 패킷열은 도 11의 C에 도시하는 바와 같이 동기 신호(Vsync)의 수신 후, 센서(200C)에 설정된 프레임 블랭킹(BL2)(제어 정보가 나타내는 출력 지연량에 해당한다.)이 경과한 후에, 출력된다.
여기서, 동기 신호(Vsync)는, 예를 들면, 제어 버스(B2)를 통하여 프로세서(100)로부터 송신된다. 동기 신호(Vsync)가 제어 버스(B2)를 통하여 프로세서(100)로부터 송신됨에 의해, 시스템(1000)에서는 복수의 센서(200)를 동기하여 동작시키는 것이 실현된다. 즉, 시스템(1000)에서는 제어 버스(B2)를 통한 프로세서(100)에 의한 제어에 의해, 복수의 센서(200)에서의 화상의 출력을 동기시킬 수 있다.
또한 시스템(1000)에서 복수의 센서(200)를 동기하여 동작시키는 방법은 상기 "프로세서(100)가 시스템(1000)을 구성하는 전 센서(200)에 대해 동기 신호(Vsync)를 송신하는 방법"으로 한정되지 않는다.
예를 들면, 시스템(1000)에서는 프로세서(100)가 제어 버스(B2)를 통하여 센서(200) 각각의 동작 시작시킨 후에, 복수의 센서(200) 중의 어느 하나의 센서(200)가 마스터로서 기능함에 의해, 복수의 센서(200)가 동기하여 동작하여도 좋다. 구체적으로는, 시스템(1000)에서는 마스터로서 기능하는 센서(200)가 동기 신호(Vsync)를 다른 센서(200)(슬레이브로서 기능하는 센서(200))에 대해 송신한다. 그리고, 시스템(1000)에서는 상기 다른 센서(200)가 마스터로서 기능하는 센서(200)로부터 송신된 동기 신호(Vsync)를 수신함에 의해, 복수의 센서(200)를 동기하여 동작시키는 것이 실현된다. 여기서, 센서(200) 사이에서의 동기 신호(Vsync)의 송수신은 예를 들면 센서(200) 사이를 접속하는 1비트의 전용선 등을 통하여 행하여진다.
시스템(1000)에서는 도 11에 도시하는 바와 같이 프로세서(100)에 의한 제어(또는, 프로세서(100)에 의한 제어가 행하여진 후의, 마스터로서 기능하는 센서(200)에 의한 제어)에 의해, 센서(200A, 200B, 200C) 각각으로부터 출력되는 화상 데이터의 패킷열의 충돌이 회피된다.
또한 도 11에 도시하는 바와 같이 센서(200A, 200B, 200C) 각각으로부터 출력되는 화상 데이터의 패킷열에는, 서로 다른 VC 번호가 설정되어도 좋다. 도 11에서는 센서(200A)로부터 출력되는 화상 데이터의 패킷열에 VC 번호 "0", 센서(200B)로부터 출력되는 화상 데이터의 패킷열에 VC 번호 "1", 센서(200C)로부터 출력되는 화상 데이터의 패킷열에 VC 번호 "2"가 부여되어 있는 예를 도시하고 있다.
도 12는, 본 실시 형태에 관한 시스템(1000)을 구성하는 프로세서(100)가 수신하는 패킷열의 제1의 예를 도시하고 있다. 도 12에 도시하는 패킷열은 도 11에 도시하는 패킷열이 데이터 버스(B1)상에서 다중화된 패킷열에 해당한다.
도 12에 도시하는 패킷열은 CSI-2 규격을 충족시키고 있다. 따라서, 프로세서(100)는, 복수의 센서(200) 각각으로부터 출력된 화상 데이터에 대응하는 도 12에 도시하는 패킷열을 CSI-2 규격대로, 하나의 센서(200)로부터 출력되는 패킷열로서 취급할 수 있다.
도 13은 본 실시 형태에 관한 시스템(1000)을 구성하는 메모리(300)상의 프레임 버퍼에 기억된, 화상 데이터의 패킷열의 제1의 예를 도시하고 있다. 도 13은 프로세서(100)에 의해, 도 12에 도시하는 패킷열이 프레임 버퍼에 기억된 예를 도시하고 있다.
프로세서(100)는, 예를 들면, VC 번호마다 메모리(300)상에 프레임 버퍼를 확보하고, VC 번호마다 확보된 프레임 버퍼에, 도 12에 도시하는 패킷열을 VC 번호마다 기록한다. 즉, 도 12에 나타내는 데이터 버스(B1)상에서 다중화된 패킷열이 나타내는, 센서(200A, 200B, 200C) 각각으로부터 출력되는 화상 데이터를 메모리(300)상의 프레임 버퍼에서 센서(200)마다의 화상 데이터로 분리시키는 것이 가능하다.
[ⅱ] 시스템(1000)에서의 화상의 출력의 제2의 예
도 14는, 본 실시 형태에 관한 시스템(1000)을 구성하는 복수의 센서(200) 각각으로부터 출력되는 화상 데이터의 패킷열의 제2의 예를 도시하고 있다.
도 14에 도시하는 A는, 센서(200A)로부터 출력되는 화상 데이터의 패킷열의 한 예를 도시하고 있고, 도 14에 도시하는 B는, 센서(200B)로부터 출력되는 화상 데이터의 패킷열의 한 예를 도시하고 있다. 또한 도 14에 도시하는 C는, 센서(200C)로부터 출력되는 화상 데이터의 패킷열의 한 예를 도시하고 있다. 도 14에서는 센서(200A, 200B, 200C) 각각으로부터, 하기에 나타내는 구성의 패킷열이 출력되는 예를 도시하고 있다.
- 센서(200A) : 도 9의 B에 도시하는 구성(FS 패킷(P1)이 출력되고, FE 패킷(P3)이 출력되지 않는 화상 데이터의 패킷 구성)의 패킷열
- 센서(200B) : 도 9의 C에 도시하는 구성(FS 패킷(P1)과 FE 패킷(P3)의 쌍방이 출력되지 않는 화상 데이터의 패킷 구성)의 패킷열
- 센서(200C) : 도 9의 D에 도시하는 구성(FE 패킷(P3)이 출력되고, FS 패킷(P1)이 출력되지 않는 화상 데이터)의 패킷열
도 14에서 센서(200A, 200B, 200C)의 동기와 패킷 출력에서의 지연은 도 11에 도시하는 화상의 출력의 제1의 예와 마찬가지이다.
또한 도 14에 도시하는 바와 같이 센서(200A, 200B, 200C) 각각으로부터 출력되는 화상 데이터의 패킷열에는, 동일한 VC 번호가 설정되어도 좋다. 도 14에서는 센서(200A, 200B, 200C) 각각으로부터 출력되는 화상 데이터의 패킷열에 VC 번호 "0"가 부여되어 있는 예를 도시하고 있다.
도 15는, 본 실시 형태에 관한 시스템(1000)을 구성하는 프로세서(100)가 수신하는 패킷열의 제2의 예를 도시하고 있다. 도 15에 도시하는 패킷열은 도 14에 도시하는 패킷열이 데이터 버스(B1)상에서 다중화된 패킷열에 해당한다.
도 15에 도시하는 패킷열은 CSI-2 규격을 충족시키고 있다. 따라서, 프로세서(100)는, 복수의 센서(200) 각각으로부터 출력된 화상 데이터에 대응하는 도 15에 도시하는 패킷열을 CSI-2 규격대로, 하나의 센서(200)로부터 출력되는 패킷열로서 취급할 수 있다.
도 16은 본 실시 형태에 관한 시스템(1000)을 구성하는 메모리(300)상의 프레임 버퍼에 기억된, 화상 데이터의 패킷열의 제2의 예를 도시하고 있다. 도 16은 프로세서(100)에 의해, 도 15에 도시하는 패킷열이 프레임 버퍼에 기억된 예를 도시하고 있다.
프로세서(100)는, 예를 들면, VC 번호마다 메모리(300)상에 프레임 버퍼를 확보하고, VC 번호마다 확보된 프레임 버퍼에, 도 15에 도시하는 패킷열을 기록한다. 즉, 도 15에 나타내는 데이터 버스(B1)상에서 다중화된 패킷열이 나타내는, 센서(200A, 200B, 200C) 각각으로부터 출력되는 화상 데이터는, "센서(200A)로부터 출력되는 화상, 센서(200B)로부터 출력되는 화상 및 센서(200C)로부터 출력되는 화상이 수직방향으로 연결된 하나의 화상"으로서, 메모리(300)상의 프레임 버퍼에 기억된다.
따라서, 화상의 출력의 제2의 예에서는 센서(200A)로부터 출력되는 화상, 센서(200B)로부터 출력되는 화상 및 센서(200C)로부터 출력되는 화상을 수직방향으로 연결하는 것이 실현된다.
[ⅲ] 시스템(1000)에서의 화상의 출력의 제3의 예
도 17은 본 실시 형태에 관한 시스템(1000)을 구성하는 복수의 센서(200) 각각으로부터 출력되는 화상 데이터의 패킷열의 제3의 예를 도시하고 있다.
도 17에 도시하는 A는, 센서(200A)로부터 출력되는 화상 데이터의 패킷열의 한 예를 도시하고 있고, 도 17에 도시하는 B는, 센서(200B)로부터 출력되는 화상 데이터의 패킷열의 한 예를 도시하고 있다. 또한 도 17에 도시하는 C는, 센서(200C)로부터 출력되는 화상 데이터의 패킷열의 한 예를 도시하고 있다. 도 17에서는 센서(200A, 200B, 200C) 각각으로부터, 도 9의 A에 도시하는 구성(FS 패킷(P1)과 FE 패킷(P3)의 쌍방이 출력되는 화상 데이터의 패킷 구성)의 패킷열이 출력되는 예를 도시하고 있다.
도 17에서 센서(200A, 200B, 200C)에서의 화상의 출력은 예를 들면 도 11에 도시하는 화상의 출력의 제1의 예와 마찬가지로, 제어 버스(B2)를 통한 프로세서(100)에 의한 제어 등에 의해 동기하여 있다.
예를 들면, 센서(200A)로부터 출력되는 화상 데이터의 패킷열은 도 17의 A에 도시하는 바와 같이 동기 신호(Vsync)의 수신 직후에 출력된다. 또한 센서(200B)로부터 출력되는 화상 데이터의 패킷열은 도 17의 B에 도시하는 바와 같이 동기 신호(Vsync)의 수신 후, 센서(200B)에 설정된 라인 블랭킹(BL1)(제어 정보가 나타내는 출력 지연량에 해당한다.)이 경과한 후에, 출력된다. 또한 센서(200C)로부터 출력되는 화상 데이터의 패킷열은 도 17의 C에 도시하는 바와 같이 동기 신호(Vsync)의 수신 후, 센서(200C)에 설정된 라인 블랭킹(BL1)(제어 정보가 나타내는 출력 지연량에 해당한다.)이 경과한 후에, 출력된다. 여기서, 도 11에 도시하는 제1의 예와, 도 17에 도시하는 제3의 예와의 상위점은 "도 11에 도시하는 제1의 예에서는 패킷의 출력 지연이 프레임 단위로 제어됨에 대해, 도 17에 도시하는 제3의 예에서는 패킷의 출력 지연이 라인 단위로 제어되는 점"이다.
시스템(1000)에서는 도 17에 도시하는 바와 같이 프로세서(100)에 의한 제어에 의해, 센서(200A, 200B, 200C) 각각으로부터 출력되는 화상 데이터의 패킷열의 충돌이 회피된다.
또한 도 17에 도시하는 바와 같이 센서(200A, 200B, 200C) 각각으로부터 출력되는 화상 데이터의 패킷열에는, 서로 다른 VC 번호가 설정되어도 좋다. 도 17에서는 센서(200A)로부터 출력되는 화상 데이터의 패킷열에 VC 번호 "0", 센서(200B)로부터 출력되는 화상 데이터의 패킷열에 VC 번호 "1", 센서(200C)로부터 출력되는 화상 데이터의 패킷열에 VC 번호 "2"가 부여되어 있는 예를 도시하고 있다.
도 18은 본 실시 형태에 관한 시스템(1000)을 구성하는 프로세서(100)가 수신하는 패킷열의 제3의 예를 도시하고 있다. 도 18에 도시하는 패킷열은 도 17에 도시하는 패킷열이 데이터 버스(B1)상에서 다중화된 패킷열에 해당한다.
도 18에 도시하는 패킷열은 CSI-2 규격을 충족시키고 있다. 따라서, 프로세서(100)는, 복수의 센서(200) 각각으로부터 출력된 화상 데이터에 대응하는 도 18에 도시하는 패킷열을 CSI-2 규격대로, 하나의 센서(200)로부터 출력되는 패킷열로서 취급할 수 있다.
도 19는, 본 실시 형태에 관한 시스템(1000)을 구성하는 메모리(300)상의 프레임 버퍼에 기억된, 화상 데이터의 패킷열의 제3의 예를 도시하고 있다. 도 19는, 프로세서(100)에 의해, 도 18에 도시하는 패킷열이 프레임 버퍼에 기억된 예를 도시하고 있다.
프로세서(100)는, 예를 들면, VC 번호마다 메모리(300)상에 프레임 버퍼를 확보하고, VC 번호마다 확보된 프레임 버퍼에, 도 18에 도시하는 패킷열을 VC 번호마다 기록한다. 여기서, 도 12에 도시하는 제1의 예에 관한 패킷열과, 도 18에 도시하는 제3의 예에 관한 패킷열은 패킷 순서가 다르지만, 프레임 버퍼에 기억되는 형식은 서로 동등하게 된다. 즉, 도 18에 나타내는 데이터 버스(B1)상에서 다중화된 패킷열이 나타내는, 센서(200A, 200B, 200C) 각각으로부터 출력되는 화상 데이터를 메모리(300)상의 프레임 버퍼에서 센서(200)마다의 화상 데이터로 분리시키는 것이 가능하다.
[ⅳ] 시스템(1000)에서의 화상의 출력의 제4의 예
도 20은 본 실시 형태에 관한 시스템(1000)을 구성하는 복수의 센서(200) 각각으로부터 출력되는 화상 데이터의 패킷열의 제4의 예를 도시하고 있다.
도 20에 도시하는 A는, 센서(200A)로부터 출력되는 화상 데이터의 패킷열의 한 예를 도시하고 있고, 도 20에 도시하는 B는, 센서(200B)로부터 출력되는 화상 데이터의 패킷열의 한 예를 도시하고 있다. 또한 도 20에 도시하는 C는, 센서(200C)로부터 출력되는 화상 데이터의 패킷열의 한 예를 도시하고 있다. 도 20에서는 센서(200A, 200B, 200C) 각각으로부터, 하기에 나타내는 구성의 패킷열이 출력되는 예를 도시하고 있다.
- 센서(200A) : 도 9의 B에 도시하는 구성(FS 패킷(P1)이 출력되고, FE 패킷(P3)이 출력되지 않는 화상 데이터의 패킷 구성)의 패킷열
- 센서(200B) : 도 9의 C에 도시하는 구성(FS 패킷(P1)과 FE 패킷(P3)의 쌍방이 출력되지 않는 화상 데이터의 패킷 구성)의 패킷열
- 센서(200C) : 도 9의 D에 도시하는 구성(FE 패킷(P3)이 출력되고, FS 패킷(P1)이 출력되지 않는 화상 데이터)의 패킷열
도 20에서 센서(200A, 200B, 200C)의 동기와 패킷 출력에서의 지연은 도 17에 도시하는 화상의 출력의 제3의 예와 마찬가지이다.
또한 도 20에 도시하는 바와 같이 센서(200A, 200B, 200C) 각각으로부터 출력되는 화상 데이터의 패킷열에는, 동일한 VC 번호가 설정되어도 좋다. 도 20에서는 센서(200A, 200B, 200C) 각각으로부터 출력되는 화상 데이터의 패킷열에 VC 번호 "0"가 부여되어 있는 예를 도시하고 있다.
도 21은 본 실시 형태에 관한 시스템(1000)을 구성하는 프로세서(100)가 수신하는 패킷열의 제4의 예를 도시하고 있다. 도 21에 도시하는 패킷열은 도 20에 도시하는 패킷열이 데이터 버스(B1)상에서 다중화된 패킷열에 해당한다.
도 21에 도시하는 패킷열은 CSI-2 규격을 충족시키고 있다. 따라서, 프로세서(100)는, 복수의 센서(200) 각각으로부터 출력된 화상 데이터에 대응하는 도 21에 도시하는 패킷열을 CSI-2 규격대로, 하나의 센서(200)로부터 출력되는 패킷열로서 취급할 수 있다.
도 22는, 본 실시 형태에 관한 시스템(1000)을 구성하는 메모리(300)상의 프레임 버퍼에 기억된, 화상 데이터의 패킷열의 제4의 예를 도시하고 있다. 도 22는, 프로세서(100)에 의해, 도 21에 도시하는 패킷열이 프레임 버퍼에 기억된 예를 도시하고 있다.
프로세서(100)는, 예를 들면, VC 번호마다 메모리(300)상에 프레임 버퍼를 확보하고, VC 번호마다 확보된 프레임 버퍼에, 도 21에 도시하는 패킷열을 기록한다. 즉, 도 21에 나타내는 데이터 버스(B1)상에서 다중화된 패킷열이 나타내는, 센서(200A, 200B, 200C) 각각으로부터 출력되는 화상 데이터는, "센서(200A)로부터 출력되는 화상, 센서(200B)로부터 출력되는 화상 및 센서(200C)로부터 출력되는 화상이 수평방향으로 연결된 하나의 화상"으로서, 메모리(300)상의 프레임 버퍼에 기억된다.
따라서, 화상의 출력의 제4의 예에서는 센서(200A)로부터 출력되는 화상, 센서(200B)로부터 출력되는 화상 및 센서(200C)로부터 출력되는 화상을 수평방향으로 연결하는 것이 실현된다.
[v] 시스템(1000)에서의 화상의 출력의 다른 예
시스템(1000)에서의 화상의 출력의 예는, 상기 [i]에 나타내는 제1의 예∼상기 [ⅳ]에 나타내는 제4의 예로 한정되지 않는다.
예를 들면 시스템(1000)에서는 상기 [i]에 나타내는 제1의 예∼상기 [ⅳ]에 나타내는 제4의 예 중의 2 이상을 조합시킴에 의해, 화상의 수직 연결, 화상의 수평 연결 및 화상의 분리를 조합시키는 것을 실현할 수 있다.
한 예를 들면, 예를 들면, 4개의 센서(200) 각각으로부터 출력되는 화상을 화상(0), 화상(1), 화상(2), 화상(3)이라고 하면, "화상(0)과 화상(1)을 수평방향으로 연결하고, 화상(2)과 화상(3)을 수평방향으로 연결하고, 또한 수평방향으로 연결된 화상(0) 및 화상(1)과, 수평방향으로 연결된 화상(2) 및 화상(3)을 수직방향으로 연결하는" 등의, 화상의 연결의 조합을 실현하는 것이 가능하다.
(본 실시 형태에 관한 프로그램)
컴퓨터를 본 실시 형태에 관한 처리 장치로서 기능시키기 위한 프로그램(예를 들면, 화상에 관한 제어에 관한 처리(본 실시 형태에 관한 제어 방법에 관한 처리)를 컴퓨터에 실행시키는 프로그램)이 컴퓨터에서 프로세서 등에 의해 실행됨에 의해, "복수의 화상 센서가 각각 독립하여 출력하는 복수의 화상을 데이터 버스상에서 연결 또는 분리하는 기구"를 갖는 시스템이 실현된다.
또한 컴퓨터를 본 실시 형태에 관한 처리 장치로서 기능시키기 위한 프로그램이 컴퓨터에서 프로세서 등에 의해 실행됨에 의해, 상술한 화상에 관한 제어에 관한 처리(본 실시 형태에 관한 제어 방법에 관한 처리)에 의해 이루어지는 효과를 이룰 수 있다.
이상, 첨부 도면을 참조하면서 본 개시의 알맞은 실시 형태에 관해 상세히 설명하였지만, 본 개시의 기술적 범위는 이러한 예로 한정되지 않는다. 본 개시의 기술 분야에서 통상의 지식을 갖는 자라면, 특허청구의 범위에 기재된 기술적 사상의 범주 내에서. 각종의 변경례 또는 수정례에 상도할 수 있음은 분명하고, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것으로 이해된다.
예를 들면, 상기에서는 컴퓨터를 본 실시 형태에 관한 처리 장치로서 기능시키기 위한 프로그램(컴퓨터 프로그램)이 제공되는 것을 나타냈지만, 본 실시 형태는, 또한 상기 프로그램을 기억시킨 기록 매체도 아울러서 제공할 수 있다.
상술한 구성은 본 실시 형태의 한 예를 나타내는 것이고, 당연히, 본 개시의 기술적 범위에 속하는 것이다.
또한 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것이고 한정적이 아니다. 즉, 본 개시에 관한 기술은 상기한 효과와 함께, 또는 상기한 효과에 대신하여, 본 명세서의 기재로부터 당업자에게는 분명한 다른 효과를 이룰 수 있다.
또한 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.
(1) 데이터 버스에 접속되어, 상기 데이터 버스에 접속되는 복수의 화상 센서 각각으로부터 상기 데이터 버스를 통하여 출력되는 화상에 관한 제어를 행하는 처리부를 구비하는 처리 장치.
(2) 상기 처리부는, 상기 화상에 관한 제어로서, 상기 화상 센서 각각으로부터 출력되는 복수의 상기 화상의 연결의 제어를 행하는 (1)에 기재된 처리 장치.
(3) 상기 처리부는, 상기 화상 센서 각각으로부터 출력되는 복수의 상기 화상에서의, 프레임의 시작과 프레임의 종료를 제어함에 의해, 복수의 상기 화상의 연결을 제어하는 (2)에 기재된 처리 장치.
(4) 상기 처리부는, 상기 화상 센서 각각에서의, 프레임의 시작 패킷의 출력을 제어함에 의해, 상기 프레임의 시작을 제어하는 (3)에 기재된 처리 장치.
(5) 상기 처리부는, 상기 화상 센서 각각에서의, 프레임의 종료 패킷의 출력을 제어함에 의해, 상기 프레임의 종료를 제어하는 (3) 또는 (4)에 기재된 처리 장치.
(6) 상기 처리부는, 또한 상기 화상 센서 각각으로부터 출력되는 복수의 상기 화상에 대한 식별자의 부여를 제어함에 의해, 복수의 상기 화상의 연결을 제어하는 (3)∼(5)의 어느 하나에 기재된 처리 장치.
(7) 상기 처리부는, 상기 화상에 관한 제어로서, 상기 화상 센서 각각으로부터 출력되는 화상 사이즈의 제어와, 복수의 상기 화상 센서 각각으로부터 출력되는 화상의 프레임 레이트의 제어의 일방 또는 쌍방을 행하는 (1)∼(6)의 어느 하나에 기재된 처리 장치.
(8) 상기 처리부는, 상기 화상에 관한 제어로서, 상기 화상 센서 각각으로부터 출력되는 화상의 출력 타이밍의 제어를 행하는 (1)∼(7)의 어느 하나에 기재된 처리 장치.
(9) 상기 처리부는, 상기 화상 센서 각각에 대해, 제어 정보를 송신함에 의해, 상기 화상에 관한 제어를 행하는 (1)∼(8)의 어느 하나에 기재된 처리 장치.
(10) 상기 제어 정보는, 상기 화상 센서 각각에 접속되는, 상기 데이터 버스와 다른 제어 버스를 통하여 송신되는, (9)에 기재된 처리 장치.
(11) 상기 제어 정보는, 상기 화상 센서가 구비하는 레지스터에 기록되는, (9) 또는 (10)에 기재된 처리 장치.
(12) 다른 화상 센서가 접속되는 데이터 버스에 접속되어, 제어 정보에 의거하여 화상을 출력하는 화상 센서.
(13) 상기 제어 정보에는, 프레임의 시작 패킷을 출력하는지를 나타내는 제1 출력 정보가 포함되고,
상기 제1 출력 정보가 상기 프레임의 시작 패킷을 출력하는 것을 나타내는 경우에, 상기 화상과 함께 상기 프레임의 시작 패킷을 출력하는 (12)에 기재된 화상 센서.
(14) 상기 제어 정보에는, 프레임의 종료 패킷을 출력하는지를 나타내는 제2 출력 정보가 포함되고,
상기 제2 출력 정보가 상기 프레임의 종료 패킷을 출력하는 것을 나타내는 경우에, 상기 화상과 함께 상기 프레임의 종료 패킷을 출력하는 (12) 또는 (13)에 기재된 화상 센서.
(15) 상기 제어 정보에는, 화상의 식별자를 나타내는 제3 출력 정보가 포함되고,
상기 화상과 함께 상기 제3 출력 정보가 나타내는 상기 식별자를 출력하는 (12)∼(14)의 어느 하나에 기재된 화상 센서.
(16) 상기 제어 정보는, 레지스터에 기억되는, (12)∼(15)의 어느 하나에 기재된 화상 센서.
(17) 데이터 버스에 각각 접속되는 복수의 화상 센서와,
상기 데이터 버스에 접속되는 처리 장치를 가지며,
상기 처리 장치는, 상기 화상 센서 각각으로부터 상기 데이터 버스를 통하여 출력되는 화상에 관한 제어를 행하는 처리부를 구비하는 시스템.
100, 250 : 프로세서 102 : 처리부
200, 200A, 200B, 200C : 센서 252 : ROM
254 : 레지스터 256 : 센서 디바이스
258 : 통신 디바이스 260 : 내부 버스
270 : 식별 정보 272 : 제어 정보
300 : 메모리 400 : 표시 디바이스
1000 : 시스템 B1 : 데이터 버스
B2 : 제어 버스
200, 200A, 200B, 200C : 센서 252 : ROM
254 : 레지스터 256 : 센서 디바이스
258 : 통신 디바이스 260 : 내부 버스
270 : 식별 정보 272 : 제어 정보
300 : 메모리 400 : 표시 디바이스
1000 : 시스템 B1 : 데이터 버스
B2 : 제어 버스
Claims (17)
- 데이터 버스에 접속되고,
상기 데이터 버스를 통하여 복수의 화상 센서 각각으로부터 화상을 수신하고,
상기 복수의 화상 센서 각각으로부터 상기 화상을 수신하는 것에 응답하여, 상기 화상을 제어하는 처리 회로를 구비하는 것을 특징으로 하는 처리 장치. - 제1항에 있어서,
상기 처리 회로는 또한 상기 화상을 제어하도록, 상기 복수의 화상 센서로부터 수신된 화상의 연결을 제어하는 것을 특징으로 하는 처리 장치. - 제2항에 있어서,
상기 처리 회로는 또한 상기 화상의 연결을 제어하도록, 상기 복수의 화상 센서로부터 수신된 상기 화상의 제1의 화상 앞에 프레임의 프레임 시작을 삽입하고, 상기 복수의 화상 센서로부터 수신된 상기 화상의 마지막 화상 뒤에 상기 프레임의 프레임 종료를 삽입하는 것을 특징으로 하는 처리 장치. - 제3항에 있어서,
상기 처리 회로는 또한 상기 복수의 화상 센서로부터 상기 화상의 상기 제1의 화상을 출력하기 전에 단일의 프레임 시작 패킷을 출력하도록, 상기 복수의 화상 센서 각각의 출력을 제어함에 의해 상기 프레임의 상기 프레임 시작을 삽입하여, 상기 복수의 화상 센서를 제어하는 것을 특징으로 하는 처리 장치. - 제3항에 있어서,
상기 처리 회로는 또한 상기 복수의 화상 센서로부터 상기 화상의 상기 마지막 화상을 출력한 후에 단일의 프레임 종료 패킷을 출력하도록, 상기 복수의 화상 센서 각각의 출력을 제어함에 의해 상기 프레임의 상기 프레임 종료를 삽입하여, 상기 복수의 화상 센서를 제어하는 것을 특징으로 하는 처리 장치. - 제3항에 있어서,
상기 처리 회로는 또한 상기 화상의 연결을 제어하도록, 상기 복수의 화상 센서로부터 수신된 상기 화상 각각에 대한 식별자의 삽입을 제어하는 것을 특징으로 하는 처리 장치. - 제1항에 있어서,
상기 처리 회로는, 상기 화상을 제어하도록, 상기 복수의 화상 센서 각각으로부터 수신된 상기 화상의 크기 또는 상기 복수의 화상 센서 각각으로부터 수신된 상기 화상의 프레임 레이트 중 적어도 하나를 제어하는 것을 특징으로 하는 처리 장치. - 제1항에 있어서,
상기 처리 회로는 또한 상기 화상을 제어하도록, 상기 복수의 화상 센서 각각에 의해 출력되는 상기 화상의 출력 타이밍을 제어하는 것을 특징으로 하는 처리 장치. - 제1항에 있어서,
상기 처리 회로는 또한 상기 화상을 제어하도록, 상기 복수의 화상 센서 각각에 제어 정보를 전송하는 것을 특징으로 하는 처리 장치. - 제9항에 있어서,
상기 처리 회로는, 상기 화상을 제어하도록, 상기 데이터 버스 또는 상기 데이터 버스와 다른 제어 버스를 통하여 상기 제어 정보를 상기 복수의 화상 센서 각각에 전송하는 것을 특징으로 하는 처리 장치. - 제9항에 있어서,
상기 처리 회로는, 상기 복수의 화상 센서 중 하나에 포함된 레지스터 내에 전송되는 상기 제어 정보를 기록하도록 상기 복수의 화상 센서 중 하나를 제어하는 것을 특징으로 하는 처리 장치. - 데이터 버스에 접속되고,
상기 데이터 버스를 통하여 제어 정보를 수신하고,
촬상하고,
상기 제어 정보를 수신하는 것 및 촬상하는 것에 응답하여, 상기 제어 정보에 의거하여 상기 데이터 버스를 통하여 상기 화상을 출력하는 화상 센서를 구비하는 것을 특징으로 하는 화상 장치. - 제12항에 있어서,
상기 제어 정보는, 프레임 시작 패킷이 출력하는지를 나타내는 제1의 출력 정보를 포함하고,
상기 프레임 시작 패킷이 출력하는지를 나타내는 상기 제1의 출력 정보에 응답하여, 상기 화상 센서는 또한 상기 화상을 포함하는 페이로드를 출력하기 전에 상기 프레임 시작 패킷을 출력하는 것을 특징으로 하는 화상 장치. - 제12항에 있어서,
상기 제어 정보는, 프레임 종료 패킷이 출력하는지를 나타내는 제2의 출력 정보를 포함하고,
상기 프레임 종료 패킷이 출력하는지를 나타내는 상기 제2의 출력 정보에 응답하여, 상기 화상 센서는 또한 상기 화상을 포함하는 페이로드를 출력한 후에 상기 프레임 종료 패킷을 출력하는 것을 특징으로 하는 화상 장치. - 제12항에 있어서,
상기 제어 정보는, 상기 화상의 식별자를 나타내는 제3의 출력 정보를 포함하고,
상기 화상 센서는 또한, 상기 화상과 함께 상기 식별자를 출력하는 것을 특징으로 하는 화상 장치. - 제12항에 있어서,
화상 센서는 레지스터를 더 포함하고,
화상 센서는 또한, 상기 레지스터 내에 상기 제어 정보를 저장하는 것을 특징으로 하는 화상 장치. - 데이터 버스와,
복수의 화상 센서와,
처리 회로를 구비하고,
상기 화상 센서의 각각은,
상기 데이터 버스에 접속되고,
촬상하고,
상기 데이터 버스를 통하여 상기 화상을 출력하고,
상기 처리 회로는,
상기 데이터 버스에 접속되고,
상기 복수의 화상 센서 각각으로부터 상기 화상을 수신하고,
상기 복수의 화상 센서 각각으로부터의 상기 화상을 제어하는 것을 특징으로 하는 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016105353A JP6695739B2 (ja) | 2016-05-26 | 2016-05-26 | 処理装置、画像センサ、およびシステム |
| JPJP-P-2016-105353 | 2016-05-26 | ||
| PCT/JP2017/015666 WO2017203901A1 (en) | 2016-05-26 | 2017-04-19 | Processing apparatus, image sensor, and system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190013727A true KR20190013727A (ko) | 2019-02-11 |
| KR102402716B1 KR102402716B1 (ko) | 2022-05-27 |
Family
ID=58739315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187031789A KR102402716B1 (ko) | 2016-05-26 | 2017-04-19 | 처리 장치, 화상 센서 및 시스템 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US10825156B2 (ko) |
| EP (1) | EP3465451A1 (ko) |
| JP (1) | JP6695739B2 (ko) |
| KR (1) | KR102402716B1 (ko) |
| CN (1) | CN109154921B (ko) |
| TW (1) | TWI744315B (ko) |
| WO (1) | WO2017203901A1 (ko) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019193842A1 (ja) * | 2018-04-05 | 2019-10-10 | ソニーセミコンダクタソリューションズ株式会社 | 送信装置、受信装置、及び通信システム |
| TW202029002A (zh) | 2018-12-20 | 2020-08-01 | 日商索尼半導體解決方案公司 | 通信裝置、通信方法及程式 |
| US20220060282A1 (en) | 2019-02-15 | 2022-02-24 | Sony Semiconductor Solutions Corporation | Communication apparatus and communication method, and program |
| CN111756963B (zh) * | 2019-03-29 | 2022-01-14 | 华为技术有限公司 | 图像摄取模组及电子终端 |
| JP2020188323A (ja) * | 2019-05-10 | 2020-11-19 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置および撮像方法 |
| TW202101946A (zh) | 2019-06-14 | 2021-01-01 | 日商索尼半導體解決方案公司 | 通信裝置及通信方法以及程式 |
| US20230143642A1 (en) | 2020-04-24 | 2023-05-11 | Sony Semiconductor Solutions Corporation | Transmission device, reception device, and communication system |
| TW202203048A (zh) | 2020-07-10 | 2022-01-16 | 日商索尼半導體解決方案公司 | 通信裝置及通信方法、以及程式 |
| US11671704B2 (en) | 2020-11-13 | 2023-06-06 | Samsung Electronics Co., Ltd. | Electronic device including a plurality of image sensors and method for thereof |
| WO2023153743A1 (ko) * | 2022-02-09 | 2023-08-17 | 삼성전자주식회사 | 전자 장치 및 이의 동작 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090012530A1 (en) * | 2003-07-15 | 2009-01-08 | Fowler Dennis L | Insertable Device and System For Minimal Access Procedure |
| US20140281753A1 (en) | 2013-03-15 | 2014-09-18 | Mahesh Wagh | Systems, Apparatuses, and Methods for Handling Timeouts |
| US20150145952A1 (en) * | 2012-06-11 | 2015-05-28 | Sony Computer Entertainment Inc. | Image capturing device and image capturing method |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4949391A (en) * | 1986-09-26 | 1990-08-14 | Everex Ti Corporation | Adaptive image acquisition system |
| JP2914277B2 (ja) | 1996-03-15 | 1999-06-28 | 日本電気株式会社 | 画像合成方式 |
| CN100369024C (zh) * | 2005-01-17 | 2008-02-13 | 北京中星微电子有限公司 | 直接存储访问控制装置和图像处理系统以及传输方法 |
| US20060256122A1 (en) * | 2005-05-13 | 2006-11-16 | Rai Barinder S | Method and apparatus for streaming data from multiple devices over a single data bus |
| JP4221676B2 (ja) * | 2006-09-05 | 2009-02-12 | ソニー株式会社 | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム |
| US7884871B2 (en) * | 2007-06-15 | 2011-02-08 | Aptina Imaging Corporation | Images with high speed digital frame transfer and frame processing |
| JP4331245B1 (ja) * | 2008-03-27 | 2009-09-16 | 株式会社東芝 | 映像画質制御装置とその制御方法 |
| JP2010034818A (ja) * | 2008-07-29 | 2010-02-12 | Sony Corp | シャッタ装置および撮像装置 |
| JP5262546B2 (ja) * | 2008-10-08 | 2013-08-14 | ソニー株式会社 | 映像信号処理システム、再生装置および表示装置、ならびに映像信号処理方法 |
| CN101777036B (zh) * | 2009-01-09 | 2011-12-14 | 比亚迪股份有限公司 | 一种实现无驱图像数据传输的装置、usb设备和方法 |
| US20110242355A1 (en) * | 2010-04-05 | 2011-10-06 | Qualcomm Incorporated | Combining data from multiple image sensors |
| US9112520B2 (en) * | 2010-08-12 | 2015-08-18 | Mediatek Inc. | Transmission interface and system using the same |
| US8717422B2 (en) * | 2010-12-22 | 2014-05-06 | Texas Instruments Incorporated | Multi-sensor video frame synchronization apparatus and methods |
| KR101973822B1 (ko) * | 2011-05-11 | 2019-04-29 | 포토네이션 케이맨 리미티드 | 어레이 카메라 이미지 데이터를 송신 및 수신하기 위한 시스템들 및 방법들 |
| KR101965631B1 (ko) * | 2012-02-22 | 2019-04-04 | 삼성전자 주식회사 | Ｃｄｓ 회로, 이를 포함하는 이미지 센서, 및 상기 이미지 센서를 포함하는 이미지 처리 장치 |
| US20140232892A1 (en) | 2013-02-20 | 2014-08-21 | Woodman Labs, Inc. | Digital signal processor buffer management |
| KR102023067B1 (ko) * | 2013-03-15 | 2019-09-19 | 삼성전자주식회사 | 시스템 온 칩과 이를 포함하는 디스플레이 시스템의 동작 방법 |
| KR20150026223A (ko) * | 2013-09-02 | 2015-03-11 | 에스케이하이닉스 주식회사 | 이미지 센서 및 그 제조방법 |
| US9710410B2 (en) * | 2013-10-31 | 2017-07-18 | Qualcomm Incorporated | Camera control slave devices with multiple slave device identifiers |
| JP2015125606A (ja) * | 2013-12-26 | 2015-07-06 | 株式会社東芝 | 送信回路 |
| JP6530658B2 (ja) | 2014-08-11 | 2019-06-12 | キヤノン株式会社 | 撮像装置およびその制御方法、プログラムならびに記録媒体 |
| JP2016045630A (ja) * | 2014-08-21 | 2016-04-04 | 株式会社キングジム | 画像取得装置 |
| US10560188B2 (en) * | 2015-02-17 | 2020-02-11 | Kookmin University Industry Academy Cooperation Foundation | Image sensor communication system and communication method using rolling shutter modulation |
-
2016
- 2016-05-26 JP JP2016105353A patent/JP6695739B2/ja active Active
-
2017
- 2017-04-19 CN CN201780030981.6A patent/CN109154921B/zh active Active
- 2017-04-19 WO PCT/JP2017/015666 patent/WO2017203901A1/en unknown
- 2017-04-19 EP EP17724647.7A patent/EP3465451A1/en not_active Ceased
- 2017-04-19 US US16/094,135 patent/US10825156B2/en active Active
- 2017-04-19 KR KR1020187031789A patent/KR102402716B1/ko active IP Right Grant
- 2017-04-20 TW TW106113200A patent/TWI744315B/zh active
-
2020
- 2020-09-17 US US17/023,982 patent/US11557024B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090012530A1 (en) * | 2003-07-15 | 2009-01-08 | Fowler Dennis L | Insertable Device and System For Minimal Access Procedure |
| US20150145952A1 (en) * | 2012-06-11 | 2015-05-28 | Sony Computer Entertainment Inc. | Image capturing device and image capturing method |
| US20140281753A1 (en) | 2013-03-15 | 2014-09-18 | Mahesh Wagh | Systems, Apparatuses, and Methods for Handling Timeouts |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6695739B2 (ja) | 2020-05-20 |
| TW201741996A (zh) | 2017-12-01 |
| US11557024B2 (en) | 2023-01-17 |
| US10825156B2 (en) | 2020-11-03 |
| CN109154921B (zh) | 2023-01-31 |
| US20210174481A1 (en) | 2021-06-10 |
| KR102402716B1 (ko) | 2022-05-27 |
| TWI744315B (zh) | 2021-11-01 |
| EP3465451A1 (en) | 2019-04-10 |
| JP2017211864A (ja) | 2017-11-30 |
| WO2017203901A1 (en) | 2017-11-30 |
| CN109154921A (zh) | 2019-01-04 |
| US20190130550A1 (en) | 2019-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20190013727A (ko) | 처리 장치, 화상 센서 및 시스템 | |
| US9681045B2 (en) | Systems and methods for generating a panoramic image | |
| EP2451168A1 (en) | Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, and three-dimensional image data reception method | |
| US20110141232A1 (en) | Image data transmitting apparatus, control method, and program | |
| KR20120097313A (ko) | 입체화상 데이터 송신 장치, 입체화상 데이터 송신 방법, 입체화상 데이터 수신 장치, 입체화상 데이터 수신 방법, 화상 데이터 송신 장치 및 화상 데이터 수신 장치 | |
| CN110326285B (zh) | 图像传感器和控制系统 | |
| KR20180096831A (ko) | 전송 동기화 이벤트에 따라 압축된 픽처의 전송을 제어하는 방법 및 장치 | |
| KR20120038388A (ko) | 입체화상 데이터 송신 장치, 입체화상 데이터 송신 방법 및 입체화상 데이터 수신 장치 | |
| JP2009021700A (ja) | 通信システム、通信装置及び通信システムの通信方法 | |
| CN106031187B (zh) | 发射设备、发射方法、接收设备与接收方法 | |
| CN109155814B (zh) | 处理装置、图像传感器和系统 | |
| WO2020039992A1 (ja) | 画像処理装置、および画像処理システム | |
| CN110347360A (zh) | 包括多个显示设备的系统中的显示设备的同步 | |
| WO2008075635A1 (ja) | 撮像装置および撮像システム | |
| KR20190143732A (ko) | 영상 데이터 전송 방법 및 이를 수행하는 장치들 | |
| CN106464831B (zh) | 用于同步传输辅助数据帧的发射机、接收机、系统和方法 | |
| JP6604782B2 (ja) | 画像処理装置 | |
| KR101520960B1 (ko) | 멀티스크린 콘텐츠 제공장치 및 제공방법, 그리고 이를 위한 컴퓨터로 판독가능한 기록매체 | |
| KR20130064294A (ko) | 무선단말장치를 이용한 재구성 가능한 표시장치의 제어 장치 및 방법 | |
| CN113170029A (zh) | 图像处理装置和图像处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |