KR102617485B1 - 관심 영역 모드 선택을 갖는 송신 장치 및 방법 - Google Patents

관심 영역 모드 선택을 갖는 송신 장치 및 방법 Download PDF

Info

Publication number
KR102617485B1
KR102617485B1 KR1020207011960A KR20207011960A KR102617485B1 KR 102617485 B1 KR102617485 B1 KR 102617485B1 KR 1020207011960 A KR1020207011960 A KR 1020207011960A KR 20207011960 A KR20207011960 A KR 20207011960A KR 102617485 B1 KR102617485 B1 KR 102617485B1
Authority
KR
South Korea
Prior art keywords
image
data
information
area
roi
Prior art date
Application number
KR1020207011960A
Other languages
English (en)
Other versions
KR20200087134A (ko
Inventor
나오키 요시모치
타츠야 스기오카
토모히로 타카하시
타카히로 이이누마
코지 요다
미호 오자와
요시아키 이나다
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20200087134A publication Critical patent/KR20200087134A/ko
Application granted granted Critical
Publication of KR102617485B1 publication Critical patent/KR102617485B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Eye Examination Apparatus (AREA)
  • Transplanting Machines (AREA)
  • Seal Device For Vehicle (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

화상에서의 각각의 행에 대하여 상기 화상에서 설정된 영역에 대응하는 영역 정보를 설정하고, 상기 설정 정보 및 상기 영역에 대응하는 영역 데이터를 각각의 행에 대하여 송신하는 화상 처리부가 제공된다. 상기 영역 정보는 상기 행의 위치 및 상기 행에 포함되는 상기 영역의 열의 위치를 나타내는 정보를 포함하다.

Description

관심 영역 모드 선택을 갖는 송신 장치 및 방법
본 개시는, 송신 장치에 관한 것이다.
촬상 디바이스에 의해 촬상된 화상의 일부의 영역을 절출(切出)하고, 절출된 영역의 데이터를 전송하는 기술이 개발되어 있다. 상기 기술로서는, 예를 들면 하기한 특허문헌 1에 기재된 기술을 들 수 있다. 또한, 화상의 일부의 영역을 절출하는 기술로서는, 예를 들면 하기한 특허문헌 2 내지 4에 기재된 기술을 들 수 있다.
일본 특개2016-201756호 공보 일본 특개2013-164834호 공보 일본 특개2012-209831호 공보 일본 특개2014-39219호 공보
예를 들면 특허문헌 1에 기재된 기술이 이용되는 경우에는, 화상으로부터 일부의 영역을 절출하고, 절출된 영역의 데이터를 전송하는 것이 가능하다. 따라서, 특허문헌 1에 기재된 기술을 이용하여 절출된 영역의 화상을 전송하는 경우에는, 화상 전체를 전송하는 것보다도 전송에 관한 데이터량이 작아지기 때문에, 전송 시간이 단축되는 등의 이점이 있다.
그렇지만, 특허문헌 1에 기재된 기술에서 절출한 영역은 사각형(矩形)의 영역이고, 다른 형상의 영역의 데이터를 전송하는 것에 대해는, 특히 고려가 되어 있지 않다. 또한, 특허문헌 2 내지 4에 기재된 화상의 일부의 영역을 절출하는 기술에서도, 절출하는 영역은 사각형의 영역이다. 그 때문에, 특허문헌 1 내지 4의 기존의 기술을 이용하였다고 하여도, 화상에 대해 설정되는 임의의 형상의 영역의 데이터를 전송하는 것은, 곤란하다.
본 개시에서는, 화상에 대해 설정되는 임의의 형상의 영역의 데이터를 송신하는 것이 가능한, 신규이면서 개량된 송신 장치를 제안한다.
본 개시의 실시의 형태에 의하면, 화상에 대해 설정되는 영역에 대응하는 영역 정보를 상기 화상에서의 행마다 설정하고, 설정된 상기 영역 정보와 상기 영역에 대응하는 영역 데이터를 행마다 송신시키는 화상 처리부를 포함하는 송신 장치가 제공된다. 상기 영역 정보는, 행의 위치를 나타내는 정보, 및 행에 포함되는 상기 영역의 열의 위치를 나타내는 정보를 포함한다.
본 개시에 의하면, 화상에 대해 설정되는 임의의 형상의 영역의 데이터를 송신할 수 있다.
또한, 상기한 효과는 반드시 한정적인 것이 아니고, 상기한 효과와 함께, 또는 상기한 효과에 대신하여, 본 명세서에 나타난 어느 하나의 효과, 또는 본 명세서로부터 파악될 수 있는 다른 효과가 이루어져도 좋다.
도 1은 본 실시 형태에 관한 통신 시스템의 구성의 한 예를 도시하는 설명도.
도 2는 MIPI CSI-2 규격에서 정하여지는 패킷의 포맷을 도시하는 설명도.
도 3은 MIPI CSI-2 규격에서 정하여지는 패킷의 포맷을 도시하는 설명도.
도 4는 MIPI CSI-2 규격에서의 패킷의 송신에 관한 신호 파형의 한 예를 도시하는 설명도.
도 5는 화상에 대해 설정되는 영역의 한 예를 도시하는 설명도.
도 6은 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 의해 송신되는 데이터의 한 예를 도시하는 설명도.
도 7은 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 의해 송신되는 Embedded Data의 한 예를 설명하기 위한 설명도.
도 8은 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 의해 송신되는 롱 패킷의 구성의 한 예를 도시하는 설명도.
도 9는 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 의해 송신되는 데이터의 한 예를 도시하는 설명도.
도 10은 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 대응하는 화상 센서의 구성의 한 예를 도시하는 하드웨어 블록도.
도 11은 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 대응하는 프로세서의 구성의 한 예를 도시하는 기능 블록도.
도 12는 실시 형태에 관한 송신 방법에 관한 제2의 송신 방식에 의해 송신되는 데이터의 한 예를 도시하는 설명도.
도 13은 본 실시 형태에 관한 송신 방법에 관한 제2의 송신 방식에 대응하는 화상 센서의 구성의 한 예를 도시하는 하드웨어 블록도.
도 14는 본 실시 형태에 관한 송신 방법에 관한 제2의 송신 방식에 대응하는 프로세서의 구성의 한 예를 도시하는 기능 블록도.
이하에 첨부 도면을 참조하면서, 본 개시의 알맞은 실시의 형태에 관해 상세히 설명한다. 또한, 본 명세서 및 도면에서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 관해서는, 동일한 부호를 붙임에 의해 중복 설명을 생략한다.
또한, 이하에서는, 하기에 나타내는 순서로 설명을 행한다.
1. 본 실시 형태에 관한 송신 방법
<1> 본 실시 형태에 관한 송신 방법을 적용하는 것이 가능한 통신 시스템의 구성
<2> 본 실시 형태에 관한 통신 시스템의 적용례
<3> 본 실시 형태에 관한 송신 방법
<4> 본 실시 형태에 관한 송신 방법이 이용됨에 의해 이루어지는 효과의 한 예
2. 본 실시 형태에 관한 프로그램
<<본 실시 형태에 관한 송신 방법>>
<1> 본 실시 형태에 관한 송신 방법을 적용하는 것이 가능한 통신 시스템의 구성
우선, 본 실시 형태에 관한 송신 방법을 적용하는 것이 가능한 통신 시스템의 구성의 한 예를 설명한다.
이하에서는, 본 실시 형태에 관한 통신 시스템을 구성하는 장치 사이의 통신 방식이, MIPI(Mobile Industry Processor Interface) CSI-2(Camera Serial Interface 2) 규격에 따른 통신 방식인 경우를 예로 든다. 또한, 본 실시 형태에 관한 통신 시스템을 구성하는 장치 사이의 통신 방식은, MIPI CSI-2 규격에 따른 통신 방식으로 한정되지 않는다. 예를 들면, 본 실시 형태에 관한 통신 시스템을 구성하는 장치 사이의 통신은, MIPI CSI-3 규격에 따른 통신 방식이나, MIPI DSI(Display Serial Interface)에 따른 통신 방식 등, MIPI 얼라이언스에서 책정된 다른 규격이라도 좋다. 또한, 본 실시 형태에 관한 송신 방법이 적용 가능한 통신 방식이, MIPI 얼라이언스에서 책정된 규격에 관한 통신 방식으로 한정되지 않음은, 말할 필요도 없다.
도 1은, 본 실시 형태에 관한 통신 시스템(1000)의 구성의 한 예를 도시하는 설명도이다. 통신 시스템(1000)으로서는, 예를 들면, 스마트 폰 등의 통신 장치나, 드론(원격 조작에 의한 동작, 또는, 자율적인 동작이 가능한 기기), 자동차 등의 이동체 등을 들 수 있다. 또한, 통신 시스템(1000)의 적용례는, 상기에 나타내는 예로 한정되지 않는다. 통신 시스템(1000)의 다른 적용례에 관해서는, 후술한다.
통신 시스템(1000)은, 예를 들면, 화상 센서(100)와, 프로세서(200)와, 메모리(300)와, 표시 디바이스(400)를 갖는다.
화상 센서(100)는, 촬상 기능과 송신 기능을 가지며, 촬상에 의해 생성한 화상을 나타내는 데이터를 송신한다. 프로세서(200)는, 화상 센서(100)로부터 송신된 데이터를 수신하고, 수신된 데이터를 처리한다. 즉, 통신 시스템(1000)에서, 화상 센서(100)는 송신 장치의 역할을 다하고, 프로세서(200)는 수신 장치의 역할을 다한다.
또한, 도 1에서는, 하나의 화상 센서(100)를 갖는 통신 시스템(1000)을 나타내고 있지만, 본 실시 형태에 관한 통신 시스템이 갖는 화상 센서(100)의 수는, 도 1에 도시하는 예로 한정되지 않는다. 예를 들면, 본 실시 형태에 관한 통신 시스템은, 2개 이상의 화상 센서(100)를 갖고 있어도 좋다.
또한, 도 1에서는, 하나의 프로세서(200)를 갖는 통신 시스템(1000)을 나타내고 있지만, 본 실시 형태에 관한 통신 시스템이 갖는 프로세서(200)의 수는, 도 1에 도시하는 예로 한정되지 않는다. 예를 들면, 본 실시 형태에 관한 통신 시스템은, 2개 이상의 프로세서(200)를 갖고 있어도 좋다.
화상 센서(100) 및 프로세서(200) 각각을 복수 갖는 통신 시스템에서는, 화상 센서(100)와 프로세서(200)가 1대1로 대응하고 있어도 좋고, 하나의 프로세서(200)에 복수의 화상 센서(100)가 대응하고 있어도 좋다. 또한, 화상 센서(100) 및 프로세서(200) 각각을 복수 갖는 통신 시스템에서는, 하나의 화상 센서(100)에 복수의 프로세서(200)가 대응하고 있어도 좋다.
화상 센서(100) 및 프로세서(200) 각각을 복수 갖는 통신 시스템에서도, 도 1에 도시하는 통신 시스템(1000)과 마찬가지로, 화상 센서(100)와 프로세서(200)의 사이에서 통신이 행하여진다.
화상 센서(100)와 프로세서(200)는, 데이터 버스(B1)에 의해 전기적으로 접속된다. 데이터 버스(B1)는, 화상 센서(100)와 프로세서(200)를 접속하는, 하나의 신호의 전송로이다. 예를 들면, 화상 센서(100)로부터 송신되는 화상을 나타내는 데이터(이하, "화상 데이터"로 나타내는 경우가 있다)는, 화상 센서(100)로부터 프로세서(200)에 데이터 버스(B1)를 통하여 전송된다.
통신 시스템(1000)에서 데이터 버스(B1)에 의해 전송된 신호는, 예를 들면, MIPI CSI-2 규격 등의 소정의 규격에 따른 통신 방식으로 전송된다.
도 2, 도 3은, MIPI CSI-2 규격에서 정하여지는 패킷의 포맷을 도시하는 설명도이다. 도 2는, MIPI CSI-2 규격에서 정하여져 있는 쇼트 패킷(Short Packet)의 포맷을 나타내고 있고, 도 3은, MIPI CSI-2 규격에서 정하여져 있는 롱 패킷(Long Packet)의 포맷을 나타내고 있다.
롱 패킷은, 패킷 헤더(packet header)(도 3에 도시하는 "PH"), 페이로드(payload)(도 3에 도시하는 "Payload Data"), 및 패킷 푸터(packet footer)(도 3에 도시하는 "PF")로 이루어지는 데이터이다. 쇼트 패킷은, 도 2에 도시하는 바와 같이 패킷 헤더(도 3에 도시하는 "PH")와 같은 구조를 갖는 데이터이다.
쇼트 패킷과 롱 패킷에는, 모두 헤더 부분에 VC(Virtual Channel) 번호(도 2, 도 3에 나타내는 "VC". VC값)가 기록되고, 패킷마다 임의의 VC 번호가 부여될 수 있다. 동일한 VC 번호가 부여된 패킷은, 같은 화상 데이터에 속하는 패킷으로서 취급된다.
또한, 쇼트 패킷과 롱 패킷에는, 모두 헤더 부분에 DT(Data Type)값(도 2, 도 3에 나타내는 "Data Type")이 기록된다. 그 때문에, VC 번호와 마찬가지로, 동일한 DT 값이 부여된 패킷을, 동일한 화상 데이터에 속하는 패킷으로서 취급하는 것도 가능하다.
롱 패킷의 헤더 부분의 Word Count에는, 패킷의 끝이 워드 수(數)로 기록된다. 쇼트 패킷과 롱 패킷의 헤더 부분의 ECC에는, 오류 정정 부호(Error Correcting Code)가 기록된다.
MIPI CSI-2 규격에서는, 데이터 신호를 전송하는 기간에서는 고속 차동 신호가 이용되고, 또한, 데이터 신호의 블랭킹 기간에서는 저전력(低電力) 신호가 이용된다. 또한, 고속 차동 신호가 이용되는 기간은, HPS(High Speed State)의 기간이라고 불리고, 저전력 신호가 이용되는 기간은, LPS(Low Power State)의 기간이라고 불린다.
도 4는, MIPI CSI-2 규격에서의 패킷의 송신에 관한 신호 파형의 한 예를 도시하는 설명도이다. 도 4의 A는, 패킷의 전송의 한 예를 나타내고 있고, 도 4의 B는, 패킷의 전송의 다른 예를 나타내고 있다. 도 4에 도시하는 "ST", "ET", "PH", "PF", "SP", "PS"는, 각각 하기를 의미한다.
-ST: Start of Transmission
-ET: End of Transmission
-PH: Packet Header
-PF: Packet Footer
-SP: Short Packet
-PS: Packet Spacing
도 4에 도시하는 바와 같이, LPS의 기간에서의 차동 신호(differential signal)(도 4에 도시하는 "LPS")와, HPS의 기간에서의 차동 신호(도 4에 도시하는 "LPS" 이외)에서는, 차동 신호의 진폭이 다름을 알 수 있다. 그 때문에, 전송 효율을 향상시키는 관점에서는, 가능한 한 LPS의 기간이 들어가지 않는 것이 바람직하다.
화상 센서(100)와 프로세서(200)는, 예를 들면, 데이터 버스(B1)와는 다른 제어 버스(B2)에 의해 전기적으로 접속된다. 제어 버스(B2)는, 화상 센서(100)와 프로세서(200)를 접속하는, 다른 신호의 전송로이다. 예를 들면, 프로세서(200)로부터 출력되는 제어 정보가, 프로세서(200)로부터 화상 센서(100)에 제어 버스(B2)를 통하여 전송된다.
제어 정보에는, 예를 들면, 제어를 위한 정보와 처리 명령이 포함된다. 제어를 위한 정보로서는, 예를 들면, 화상 사이즈를 나타내는 데이터, 프레임 레이트를 나타내는 데이터, 화상의 출력 명령이 수신되고 나서 화상을 출력할 때까지의 출력 지연량을 나타내는 데이터 중의 1 또는 2 이상 등, 화상 센서(100)에서의 기능을 제어하기 위한 데이터를, 들 수 있다. 또한, 제어 정보에는, 화상 센서(100)를 나타내는 식별 정보가 포함되어 있어도 좋다. 식별 정보로서는, 예를 들면, 화상 센서(100)로 설정되어 있는 ID 등의, 화상 센서(100)를 특정하는 것이 가능한 임의의 데이터를 들 수 있다.
또한, 제어 버스(B2)를 통하여 프로세서(200)로부터 화상 센서(100)에 전송되는 정보는, 상기에 나타내는 예로 한정되지 않는다. 예를 들면, 프로세서(200)는, 화상에서의 영역을 지정하는 영역 지정 정보를, 제어 버스(B2)를 통하여 전송하여도 좋다. 영역 지정 정보로서는, 영역에 포함되는 화소의 위치를 나타내는 데이터(예를 들면, 영역에 포함되는 화소의 위치가 좌표로 표시되는 좌표 데이터 등) 등, 영역을 특정하는 것이 가능한 임의의 형식의 데이터를, 들 수 있다.
도 1에서는, 화상 센서(100)와 프로세서(200)가 제어 버스(B2)에 의해 전기적으로 접속되어 있는 예를 나타내고 있지만, 화상 센서(100)와 프로세서(200)는, 제어 버스(B2)로 접속되어 있지 않아도 좋다. 예를 들면, 화상 센서(100)와 프로세서(200)는, 임의의 통신 방식의 무선 통신에 의해, 제어 정보 등을 송수신하여도 좋다.
이하, 도 1에 도시하는 통신 시스템(1000)을 구성하는 각 장치에 관해, 설명한다.
<1-1> 메모리(300)
메모리(300)는, 통신 시스템(1000)이 갖는 기록 매체이다. 메모리(300)로서는, 예를 들면, RAM(Random Access Memory) 등의 휘발성 메모리나, 플래시 메모리 등의 불휘발성 메모리 등을 들 수 있다. 메모리(300)는, 배터리 등의 통신 시스템(1000)을 구성하는 내부 전원(도시 생략)으로부터 공급되는 전력, 또는, 통신 시스템(1000)의 외부 전원으로부터 공급되는 전력에 의해, 동작한다.
메모리(300)에는, 예를 들면, 화상 센서(100)로부터 출력된 화상이 기억된다. 메모리(300)에의 화상의 기록은, 예를 들면 프로세서(200)에 의해 제어된다.
<1-2> 표시 디바이스(400)
표시 디바이스(400)는, 통신 시스템(1000)이 갖는 표시 디바이스이다. 표시 디바이스(400)로서는, 예를 들면, 액정 디스플레이나 유기 EL 디스플레이(Organic Electro-Luminescence Display. 또는, OLED 디스플레이(Organic Light Emitting Diode Display)라고도 불린다.) 등을 들 수 있다. 표시 디바이스(400)는, 배터리 등의 통신 시스템(1000)을 구성하는 내부 전원(도시 생략)으로부터 공급되는 전력, 또는, 통신 시스템(1000)의 외부 전원으로부터 공급되는 전력에 의해, 동작한다.
표시 디바이스(400)의 표시 화면에는, 예를 들면, 화상 센서(100)로부터 출력된 화상이나, 프로세서(200)에서의 실행되는 어플리케이션에 관한 화면, UI(User Interface)에 관한 화면 등, 다양한 화상이나 화면이 표시된다. 표시 디바이스(400)의 표시 화면에의 화상 등의 표시는, 예를 들면 프로세서(200)에 의해 제어된다.
<1-3> 프로세서(200)(수신 장치)
프로세서(200)는, 화상 센서(100)로부터 송신된 데이터를 수신하고, 수신된 데이터를 처리한다. 상술한 바와 같이, 프로세서(200)는, 통신 시스템(1000)에서 수신 장치의 역할을 다한다. 화상 센서(100)로부터 송신된 데이터의 처리에 관한 구성(수신 장치의 역할을 다하기 위한 구성)의 한 예에 관해서는, 후술한다.
프로세서(200)는, 예를 들면, MPU(Micro Processing Unit) 등의 연산 회로로 구성되는, 1 또는 2 이상의 프로세서나, 각종 처리 회로 등으로 구성된다. 프로세서(200)는, 배터리 등의 통신 시스템(1000)을 구성하는 내부 전원(도시 생략)으로부터 공급되는 전력, 또는, 통신 시스템(1000)의 외부 전원으로부터 공급되는 전력에 의해, 동작한다.
프로세서(200)는, 예를 들면, 메모리(300) 등의 기록 매체에의 화상 데이터의 기록 제어에 관한 처리, 표시 디바이스(400)의 표시 화면에의 화상의 표시 제어에 관한 처리, 임의의 어플리케이션 소프트웨어를 실행하는 처리 등, 다양한 처리를 행한다. 기록 제어에 관한 처리로서는, 예를 들면 "기록 명령을 포함하는 제어 데이터와 기록 매체에 기록시키는 데이터를, 메모리(300) 등의 기록 매체에 전달하는 처리"를, 들 수 있다. 또한, 표시 제어에 관한 처리로서는, 예를 들면 "표시 명령을 포함하는 제어 데이터와 표시 화면에 표시시키는 데이터를, 표시 디바이스(400) 등의 표시 디바이스에 전달하는 처리"를, 들 수 있다.
또한, 프로세서(200)는, 예를 들면, 화상 센서(100)에 대해 제어 정보를 송신함에 의해, 화상 센서(100)에서의 기능을 제어하여도 좋다. 프로세서(200)는, 예를 들면, 화상 센서(100)에 대해 영역 지정 정보를 송신함에 의해, 화상 센서(100)로부터 송신되는 데이터를 제어하는 것도 가능하다.
<1-4> 화상 센서(100)(송신 장치)
화상 센서(100)는, 촬상 기능과 송신 기능을 가지며, 촬상에 의해 생성한 화상을 나타내는 데이터를 송신한다. 상술한 바와 같이, 화상 센서(100)는, 통신 시스템(1000)에서의 송신 장치의 역할을 다한다.
화상 센서(100)는, 예를 들면, "디지털 스틸 카메라나 디지털 비디오 카메라, 스테레오 카메라 등의 촬상 디바이스"나, "적외선 센서", "거리 화상 센서" 등의, 화상을 생성하는 것이 가능한 임의의 방식의 화상 센서 디바이스를 포함하고, 생성된 화상을 송신하는 기능을 갖는다. 화상 센서(100)에서 생성된 화상은, 화상 센서(100)에서의 센싱 결과를 나타내는 데이터에 해당한다. 화상 센서(100)의 구성의 한 예에 관해서는, 후술한다.
화상 센서(100)는, 후술하는 본 실시 형태에 관한 송신 방법에 의해, 화상에 대해 설정되는 영역에 대응하는 데이터(이하, "영역 데이터"로 나타낸다.)를 송신한다. 영역 데이터의 송신에 관한 제어는, 예를 들면, 화상 센서(100)에서의 화상 처리부로서 기능하는 구성 요소(후술한다)에 의해 행하여진다. 화상에 대해 설정되는 영역은, ROI(Region Of Interest)라고 불리는 경우가 있다. 이하에서는, 화상에 대해 설정되는 영역을 "ROI"로 나타내는 경우가 있다.
화상에 대한 영역의 설정에 관한 처리로서는, 예를 들면, "화상으로부터 물체를 검출하고, 검출된 물체를 포함하는 영역을 설정하는 처리", "임의의 조작 디바이스에 대한 조작 등에 의해 지정된 영역을 설정하는 처리" 등, 화상에서의 일부의 영역을 특정하는 것이 가능한 임의의 처리(또는, 화상으로부터 일부의 영역을 절출하는 것이 가능한 임의의 처리)를, 들 수 있다.
화상에 대한 영역의 설정에 관한 처리는, 화상 센서(100)가 행하여도 좋고, 프로세서(200) 등의 외부 장치에서 행하여져도 좋다. 화상 센서(100)가 화상에 대한 영역의 설정에 관한 처리를 행하는 경우, 화상 센서(100)는, 화상에 대한 영역의 설정에 관한 처리의 결과에 따라 영역을 특정한다. 또한, 예를 들면, 화상에 대한 영역의 설정에 관한 처리가 외부 장치에서 행하여지는 경우, 화상 센서(100)는, 외부 장치로부터 취득되는 영역 지정 정보에 의거하여, 영역을 특정한다.
화상 센서(100)가, 영역 데이터를 송신하는 것, 즉, 화상의 일부의 데이터를 송신함에 의해, 화상 전체를 전송하는 것보다도 전송에 관한 데이터량이 작아진다. 따라서, 화상 센서(100)가, 영역 데이터를 송신함에 의해, 예를 들면, 전송 시간이 단축되는, 통신 시스템(1000)에서의 전송에 관한 부하가 저감되는 등, 데이터량이 저감됨에 의해 이루어지는 다양한 효과가, 이루어진다.
또한, 화상 센서(100)는, 화상 전체를 나타내는 데이터를 송신하는 것도 가능하다.
화상 센서(100)가, 영역 데이터를 송신하는 기능, 및 화상 전체를 나타내는 데이터를 송신하는 기능을 갖고 있는 경우, 화상 센서(100)는, 영역 데이터를 송신하는 것과, 화상 전체를 나타내는 데이터를 송신하는 것을, 선택적으로 전환하여 행하는 것이 가능하다.
화상 센서(100)는, 예를 들면, 설정되어 있는 동작 모드에 의해, 영역 데이터를 송신하고, 또는, 화상 전체를 나타내는 데이터를 송신한다. 동작 모드의 설정은, 예를 들면, 임의의 조작 디바이스에 대한 조작 등에 의해 행하여진다.
또한, 화상 센서(100)는, 외부 장치로부터 취득되는 영역 지정 정보에 의거하여, 영역 데이터를 송신하는 것과, 화상 전체를 나타내는 데이터를 송신하는 것을, 선택적으로 전환하여도 좋다. 화상 센서(100)는, 예를 들면, 외부 장치로부터 영역 지정 정보가 취득된 때에, 당해 영역 지정 정보에 대응하는 영역의 영역 데이터를 송신하고, 외부 장치로부터 영역 지정 정보가 취득되지 않는 때에, 화상 전체를 나타내는 데이터를 송신한다.
통신 시스템(1000)은, 예를 들면 도 1에 도시하는 구성을 갖는다. 또한, 본 실시 형태에 관한 통신 시스템의 구성은, 도 1에 도시하는 예로 한정되지 않는다.
예를 들면, 도 1에서는, 송신 장치의 역할을 다하는 장치로서 화상 센서(100)를 예로 들었지만, 송신 장치의 역할을 다하는 장치는, 화상 센서(100)로 한정되지 않는다. 예를 들면, 본 실시 형태에 관한 통신 시스템이, 촬상 디바이스 등의 화상 센서 디바이스와, 화상 센서 디바이스와 전기적으로 접속되어 있는 송신기를 갖는 구성인 경우, 당해 송신기가 송신 장치의 역할을 다하고 있어도 좋다.
또한, 도 1에서는, 수신 장치의 역할을 다하는 장치로서, 프로세서(200)를 예로 들었지만, 수신 장치의 역할을 다하는 장치는, 프로세서(200)로 한정되지 않는다. 예를 들면, 본 실시 형태에 관한 통신 시스템에서는, 데이터를 수신하는 기능을 갖는 임의의 디바이스가, 수신 장치의 역할을 다하는 것이 가능하다.
또한, 통신 시스템의 외부의 기록 매체에 화상 센서(100)로부터 송신되는 화상이 기억되는 경우, 화상 센서(100)로부터 송신되는 화상이 프로세서(200)가 구비하는 메모리에 기억되는 경우, 또는, 화상 센서(100)로부터 송신되는 화상이 기록되지 않는 경우 등에는, 본 실시 형태에 관한 통신 시스템은, 메모리(300)를 갖지 않아도 좋다.
또한, 본 실시 형태에 관한 통신 시스템은, 도 1에 도시하는 표시 디바이스(400)를 갖지 않는 구성을 취하는 것이 가능하다.
또한, 본 실시 형태에 관한 통신 시스템은, 후술하는 본 실시 형태에 관한 통신 시스템이 적용되는 전자 기기가 갖는 기능에 응한, 임의의 구성을 갖고 있어도 좋다.
<2> 본 실시 형태에 관한 통신 시스템의 적용례
이상, 본 실시 형태로서, 통신 시스템을 들어 설명하였지만, 본 실시 형태는, 이러한 형태로 한정되지 않는다. 본 실시 형태는, 예를 들면, 스마트 폰 등의 통신 장치나, 드론(원격 조작에 의한 동작, 또는, 자율적인 동작이 가능한 기기), 자동차 등의 이동체, PC(Personal Computer) 등의 컴퓨터, 태블릿형의 장치, 게임기 등, 다양한 전자 기기에 적용할 수 있다.
<3> 본 실시 형태에 관한 송신 방법
다음에, 본 실시 형태에 관한 송신 방법을 설명한다. 이하에서는, 본 실시 형태에 관한 송신 방법이, 도 1에 도시하는 화상 센서(100)(본 실시 형태에 관한 송신 장치)에 적용되는 경우를, 예로 든다. 화상 센서(100)에서의 본 실시 형태에 관한 송신 방법에 관한 처리는, 예를 들면, 화상 처리부로서 기능하는 IC 칩(후술한다)에 의해, 행하여진다. 또한, 화상 센서(100)에서는, 화상 처리부로서 기능하는 다른 구성 요소에 의해, 본 실시 형태에 관한 송신 방법에 관한 처리가 행하여져도 좋다.
도 5는, 화상에 대해 설정되는 영역의 한 예를 도시하는 설명도이다. 도 5에서는, 영역의 예로서, 영역(1), 영역(2), 영역(3), 및 영역(4)이라는 4개의 영역을 나타내고 있다. 또한, 화상에 대해 설정되는 영역이, 도 5에 도시하는 예로 한정되지 않음은, 말할 필요도 없다.
상술한 바와 같이, 기존의 기술을 이용한 경우에는, 도 5의 영역(1)과 같은 사각형의 영역의 데이터를 전송하는 것은, 가능하다.
그렇지만, 상술한 바와 같이, 기존의 기술을 이용하였다고 하여도, 도 5의 영역(2), 영역(3), 및 영역(4)과 같은, 화상에 대해 설정되는 사각형 이외의 임의의 형상의 영역의 데이터를 전송하는 것은, 곤란하다. 또한, 기존의 기술을 이용하였다고 하여도, 도 5의 영역(1) 및 영역(2)과 같은 하나의 행에 복수의 영역이 설정되어 있는 경우, 및 도 5의 영역(3) 및 영역(4)과 같은 설정되어 있는 영역이 겹쳐져 있는 경우에, 영역의 데이터를 전송하는 것은 곤란하다. 여기서, 화상에서의 행이란, 화소의 위치를 2차원 평면 좌표(x, y)로 나타낼 때, y좌표가 동일한 것을 말한다.
<3-1> 기본 처리
그래서, 화상 센서(100)는, 화상에 대해 설정되는 영역에 대응하는 영역 정보를, 화상에서의 행마다 설정한다.
그리고, 화상 센서(100)는, 설정된 영역 정보와, 영역에 대응하는 영역 데이터를, 행마다 송신시킨다. 화상 센서(100)는, 예를 들면 y좌표의 값의 오름차순(ascending order) 또는 내림차순(descending order) 등, 소정의 순서에 따라, 행마다의 영역 정보와 영역 데이터를 송신시킨다. 또한, 화상 센서(100)는, 랜덤한 순서로, 행마다의 영역 정보와 영역 데이터를 송신시켜도 좋다.
본 실시 형태에 관한 영역 정보란, 화상에 대해 설정되는 영역을, 수신 장치측에서 특정하기 위한 데이터(데이터군)이다. 영역 정보로는, 예를 들면, 행의 위치를 나타내는 정보, 행에 포함되는 영역의 식별 정보, 행에 포함되는 영역의 열의 위치를 나타내는 정보, 및 행에 포함되는 영역의 크기를 나타내는 정보가, 포함된다.
또한, 영역 정보에 포함되는 정보는, 후술하는 송신 방식에 따라 다를 수 있다. 예를 들면, 후술하는 제2의 송신 방식 및 제3의 송신 방식에서는, 행에 포함되는 영역의 식별 정보와, 행에 포함되는 영역의 크기를 나타내는 정보의 일방 또는 쌍방이, 포함되어 있지 않아도 좋다. 예를 들면, VC 번호로 영역이 나누어지는 경우, 후술하는 제2의 송신 방식 및 제3의 송신 방식에서는, VC 번호가, 행에 포함되는 영역의 식별 정보의 역할을 다하여도 좋다. 또한, VC 번호로 영역이 나누어지는 경우, 후술하는 제2의 송신 방식 및 제3의 송신 방식에서는, 페이로드 길이를, 행에 포함되는 영역의 크기를 나타내는 정보로서 대용하는 것이 가능하다. 이하에서는, "영역 정보에, 행의 위치를 나타내는 정보, 행에 포함되는 영역의 식별 정보, 행에 포함되는 영역의 열의 위치를 나타내는 정보, 및 행에 포함되는 영역의 크기를 나타내는 정보가, 포함되는 경우"를 예로 든다.
행의 위치를 나타내는 정보로서는, 예를 들면, y좌표의 번호를 나타내는 데이터나, 초기치(예를 들면 "0"(제로))가 잉크리먼트(increment)되어 산출되는 y좌표의 값을 나타내는 데이터 등, 행을 특정하는 것이 가능한 임의의 데이터를, 들 수 있다. 이하에서는, 행의 위치를 나타내는 정보를 "Y"로 나타내는 경우가 있다.
영역의 식별 정보로서는, 예를 들면, 영역에 붙여진 번호 등의 영역의 ID를 나타내는 데이터 등, 영역을 일의적으로 특정하는 것이 가능한 임의의 데이터를, 들 수 있다. 이하에서는, 영역의 식별 정보를, "ROI ID" 또는 "I"로 나타내는 경우가 있다.
영역의 열의 위치를 나타내는 정보로서는, 예를 들면, x좌표의 번호를 나타내는 데이터 등, 열을 특정하는 것이 가능한 임의의 데이터를, 들 수 있다. 이하에서는, 영역의 열의 위치를 나타내는 정보를, "ROI X" 또는 "X"로 나타내는 경우가 있다.
영역의 크기를 나타내는 정보로서는, 행에서의 영역의 화소수를 나타내는 데이터 등, 행에서의 영역의 크기를 특정하는 것이 가능한 임의의 데이터를, 들 수 있다. 이하에서는, 행에서의 영역의 크기를, "ROI 길이", "ROI LEN", 또는 "L"로 나타내는 경우가 있다.
예를 들면 상기한 바와 같이, 행의 위치를 나타내는 정보, 영역의 식별 정보, 영역의 열의 위치를 나타내는 정보, 및 영역의 크기를 나타내는 정보가, 영역 정보로 설정됨에 의해, 영역 정보를 수신한 수신 장치는, 영역의 특정, 영역의 위치의 특정, 및 ROI 길이의 특정을 행할 수가 있다. 또한, 영역의 특정, 영역의 위치의 특정, 및 ROI 길이의 특정이 행하여짐에 의해, 행에서, 영역이, 어느 위치에, 어느 ROI 길이로 설정되어 있는지를, 일의적으로 특정하는 것이 가능하다.
따라서, 행의 위치를 나타내는 정보, 영역의 식별 정보, 영역의 열의 위치를 나타내는 정보, 및 영역의 크기를 나타내는 정보가, 영역 정보로 설정됨에 의해, 통신 시스템(1000)은, "도 5의 영역(1)과 같은, 사각형의 영역의 영역 데이터", 및 "도 5의 영역(2), 영역(3), 및 영역(4)과 같은, 사각형 이외의 임의의 형상의 영역의 영역 데이터" 각각의 전송에 대응할 수 있다.
또한, 화상 센서(100)는, 영역 정보에 포함되는 정보를, 행에 포함되는 영역마다 통합하여 영역 정보로 설정하여도 좋다. 화상 센서(100)는, 예를 들면, 영역의 식별 정보, 영역의 열의 위치를 나타내는 정보, 및 영역의 크기를 나타내는 정보를, 행에 포함되는 영역마다 통합하여 영역 정보로 설정한다. 영역마다 통합하여 영역 정보로 설정한다는 것은, 예를 들면, 영역의 식별 정보, 영역의 열의 위치를 나타내는 정보, 및 영역의 크기를 나타내는 정보(영역 정보에 포함되는 정보의 한 예)를, 일군(一群)의 데이터로서 영역 정보로 설정하는 것을 말한다.
여기서, 화상 센서(100)는, 행마다 영역 정보를 설정하기 때문에, 복수의 영역이 포함되어 있다고 하여도, 행의 위치는 일정하다. 따라서, 화상 센서(100)는, 행의 위치를 나타내는 정보를 영역 정보에 하나 설정한다. 또한, 화상 센서(100)가, 행의 위치를 나타내는 정보, 영역의 식별 정보, 영역의 열의 위치를 나타내는 정보, 및 영역의 크기를 나타내는 정보를, 행에 포함되는 영역마다 통합하여 설정하는 것이 가능함은, 말할 필요도 없다.
예를 들면 상기한 바와 같이, 영역의 식별 정보, 영역의 열의 위치를 나타내는 정보, 및 영역의 크기를 나타내는 정보가, 행에 포함되는 영역마다 통합하여 설정됨에 의해, 영역 정보를 수신한 수신 장치는, 영역의 특정, 영역의 위치의 특정, 및 ROI 길이의 특정을, 영역마다, 보다 용이하게 행할 수 있다. 또한, 영역의 특정, 영역의 위치의 특정, 및 ROI 길이의 특정이 행하여짐에 의해, 행에 있어서, 어느 영역이, 어느 위치에, 어느 ROI 길이로 설정되어 있는지를, 일의적으로 특정하는 것이 가능하다.
따라서, 영역의 식별 정보, 영역의 열의 위치를 나타내는 정보, 및 영역의 크기를 나타내는 정보가, 행에 포함되는 영역마다 통합하여 설정됨에 의해, 통신 시스템(1000)은, "도 5의 영역(1) 및 영역(2)과 같은 하나의 행에 복수의 영역이 설정되어 있는 경우에 있어서의, 영역 데이터의 전송", 및 "도 5의 영역(3) 및 영역(4)과 같은 설정되어 있는 영역이 겹쳐져 있는 경우에 있어서, 영역 데이터의 전송"에, 대응할 수 있다.
또한, 예를 들면 도 5의 영역(2)에 도시하는 바와 같이, 설정되는 영역에 따라서는, 하나의 행에 동일한 영역이 복수 존재할 수 있다. 그래서, 화상 센서(100)는, 하나의 행에 동일한 영역이 복수 존재하는 경우, 존재하는 수만큼, 영역 정보를 설정하여도 좋다. 하나의 행에 동일한 영역이 복수 존재하는 경우, 화상 센서(100)는, 예를 들면, 존재하는 수만큼, 영역의 식별 정보, 영역의 열의 위치를 나타내는 정보, 및 영역의 크기를 나타내는 정보를, 영역 정보로 설정한다.
예를 들면, 하나의 행에 동일한 영역이 복수 존재하는 수만큼, 영역의 식별 정보, 영역의 열의 위치를 나타내는 정보, 및 영역의 크기를 나타내는 정보가 영역 정보로 설정됨에 의해, 영역 정보를 수신한 수신 장치는, 영역의 특정, 영역의 위치의 특정, 및 ROI 길이의 특정을, 복수 존재하는 동일한 영역마다 행할 수 있다.
따라서, 하나의 행에 동일한 영역이 복수 존재하는 수만큼, 영역 정보가 설정됨에 의해, 통신 시스템(1000)은, 도 5의 영역(2)의 영역 데이터의 전송에 대응할 수 있다.
따라서 예를 들면 상기한 바와 같은 각종 정보가 포함되는 영역 정보가 행마다 설정됨에 의해, 영역 정보를 수신한 수신 장치는, 행에 설정되어 있는 영역을 일의적으로 특정할 수 있다.
또한, 영역 정보에 포함되는 정보는, 상기에 나타내는 예로 한정되지 않는다. 예를 들면, 영역 정보에는, 행에 포함되는 영역수를 나타내는 데이터(이하, "Num of ROI"로 나타내는 경우가 있다.) 등, 다른 데이터가 포함되어 있어도 좋다. 영역 정보에 포함되는 정보의 구체례에 관해서는, 후술한다.
<3-2> 예외 처리
또한, 본 실시 형태에 관한 송신 방법에 관한 처리는, 상기 기본 처리로 한정되지 않는다.
(a) 예외 처리의 제1의 예
예를 들면, 화상 센서(100)는, 영역 정보에 포함되는 정보 중, 하나 전에 송신시키는 행의 영역 정보에 포함되는 정보로부터 변화하지 않는 정보는, 영역 정보로 설정하지 않아도 좋다. 즉, 화상 센서(100)는, 하나 전에 영역 정보를 송신시키는 행부터 변화한 정보를 포함하는 영역 정보를, 송신시킨다.
상기한 바와 같이, 하나 전에 송신시키는 행의 영역 정보에 포함되는 정보로부터 변화하지 않는 정보가 송신되지 않음에 의해, 영역 정보의 데이터량을 보다 저감시킬 수 있다. 영역 정보의 데이터량이 저감하는 것은, 전송 시간의 단축이나, 통신 시스템(1000)에서의 전송에 관한 부하의 저감에 기여한다.
또한, 하나 전에 송신시키는 행의 영역 정보에 포함되는 정보로부터 변화하지 않는 정보라도, 다른 정보의 변화에 수반하여 영역 정보로 설정되는 정보가 있어도 좋다.
예를 들면, 화상 센서(100)는, 영역의 열의 위치를 나타내는 정보를 영역 정보로 설정할 때에는, 영역 정보에 영역의 식별 정보를 설정한다. 또한, 예를 들면, 화상 센서(100)는, 영역의 크기를 나타내는 정보를 영역 정보로 설정할 때에는, 영역 정보에 영역의 식별 정보를 영역 정보로 설정한다. 즉, 영역의 x좌표 및 ROI 길이의 일방 또는 쌍방이, 하나 전에 송신시키는 행의 영역 정보에 포함되는 내용으로부터 변경되는 경우, 화상 센서(100)는, 영역의 식별 정보를 영역 정보로 설정한다.
영역의 x좌표 및 ROI 길이의 일방 또는 쌍방이 변경되는 경우에, 화상 센서(100)가, 영역의 식별 정보를 영역 정보로 설정함에 의해, 영역 정보를 수신한 수신 장치는, 변경 내용에 대응하는 영역을 일의적으로 특정할 수 있다.
(b) 예외 처리의 제2의 예
상술한 바와 같이, 화상 센서(100)는, 소정의 순서에 따라 행마다의 영역 정보와 영역 데이터를, 송신시키는 것이 가능하다. 이때, 영역 정보와 영역 데이터를 송신시키는 행이, 소정의 순서에 따른 행인 경우에는, 화상 센서(100)는, 영역 정보에 행의 위치를 나타내는 정보를 설정하지 않아도 좋다.
화상 센서(100)가, 영역 정보에 행의 위치를 나타내는 정보를 설정하지 않는 경우라도, 수신 장치는, 소정의 순서에 따름에 의해, 수신된 영역 정보 및 영역 데이터가, 어느 행에 포함되는 영역의 데이터인지를, 특정할 수 있다.
<3-3> 영역 정보와 영역 데이터와의 송신 방식
화상 센서(100)는, 예를 들면, "상기 <3-1>에 나타내는 기본 처리", 또는, "상기 <3-1>에 나타내는 기본 처리, 및 상기 <3-2>에 나타내는 예외 처리"를 행함에 의해, 영역 정보와 영역 데이터를 행마다 송신한다. 다음에, 영역 정보와 영역 데이터를 송신하는 송신 방식에 관해, 설명한다.
영역 정보와 영역 데이터와의 송신 방식으로서는, 예를 들면, 하기한 (1)에 나타내는 제1의 송신 방식, 하기한 (2)에 나타내는 제2의 송신 방식, 및 하기한 (3)에 나타내는 제3의 송신 방식을 들 수 있다.
(1) 제1의 송신 방식
(1-1) 제1의 송신 방식에 관한 처리
화상 센서(100)는, 영역 정보와 영역 데이터를, 패킷의 페이로드에 격납하여, 행마다 송신시킨다.
도 6은, 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 의해 송신되는 데이터의 한 예를 도시하는 설명도이다. 도 6은, "도 5에 도시하는 영역(1), 영역(2), 영역(3), 및 영역(4) 각각에 대응하는 영역 정보 및 영역 데이터가, 도 3에 도시하는 MIPI의 롱 패킷의 페이로드에 격납하여, 행마다 송신되는 예"를 나타내고 있다.
도 6에 도시하는 "FS"는, MIPI CSI-2 규격에서의 FS(Frame Start) 패킷이고, 도 6에 도시하는 "FE"는, MIPI CSI-2 규격에서의 FE(Frame End) 패킷이다(다른 도면에서도 마찬가지이다).
도 6에 도시하는 "Embedded Data"는, 송신되는 데이터의 헤더, 또는, 푸터에 매입하는 것이 가능한 데이터이다. "Embedded Data"로서는, 예를 들면, 화상 센서(100)가 부가적으로 송신하는 부가 정보를 들 수 있다. 이하에서는, Embedded Data를 "EBD"로 나타내는 경우가 있다.
본 실시 형태에 관한 부가 정보로서는, 예를 들면, 영역의 데이터량을 나타내는 정보, 영역의 크기를 나타내는 정보, 및 영역의 우선도를 나타내는 정보 중, 1 또는 2 이상을, 들 수 있다.
영역의 데이터량을 나타내는 정보로서는, 예를 들면 "영역에 포함되는 화소수( 또는 영역의 데이터량)와, 헤더의 데이터량을 나타내는 데이터" 등, 영역의 데이터량을 특정하는 것이 가능한 임의의 형식의 데이터를, 들 수 있다. 도 6에 도시하는 "Embedded Data"로서 영역의 데이터량을 나타내는 정보가 송신됨에 의해, 수신 장치는, 각 영역의 데이터량을 특정할 수 있다. 즉, 도 6에 도시하는 "Embedded Data"로서 영역의 데이터량을 나타내는 정보가 송신됨에 의해, 수신 장치가, 영역 정보에 의거하여 각 영역의 데이터량을 산출하는 기능을 갖지 않는 경우라도, 수신 장치에 영역의 데이터량을 특정시킬 수 있다.
영역의 크기를 나타내는 정보로서는, 예를 들면 "영역을 포함하는 사각형의 영역을 나타내는 데이터(예를 들면, 당해 사각형의 영역에서의, 수평 방향의 화소수 및 수직 방향의 화소수를 나타내는 데이터)" 등, 영역의 크기를 특정하는 것이 가능한 임의의 형식의 데이터를, 들 수 있다.
영역의 우선도를 나타내는 정보는, 예를 들면, 영역의 데이터의 처리에서 이용되는 데이터이다. 한 예를 들면, 영역의 우선도를 나타내는 정보가 나타내는 우선도는, 영역을 처리하는 순서나, 도 5의 영역(3) 및 영역(4)과 같은 설정되어 있는 영역이 겹쳐져 있는 경우에 있어서의 처리 등에, 이용된다.
또한, 본 실시 형태에 관한 부가 정보는, 상기에 나타내는 예로 한정되지 않는다. 예를 들면, 본 실시 형태에 관한 부가 정보로서는, 화상 센서 디바이스에서의 노출치 등을 나타내는 노광 정보, 화상 센서 디바이스에서의 게인을 나타내는 게인 정보 등의, 다양한 데이터를, 들 수 있다. 노광 정보가 나타내는 노광치, 및 게인 정보가 나타내는 게인 각각은, 제어 버스(B2)를 통한 프로세서(200)에 의한 제어에 의해 화상 센서 디바이스에 설정된다.
도 7은, 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 의해 송신되는 Embedded Data의 한 예를 설명하기 위한 설명도이다. 도 7은, 도 6에 도시하는 "Embedded Data"로서 영역의 크기를 나타내는 정보가 송신되고, 송신되는 영역의 크기를 나타내는 정보가, 영역을 포함하는 최소의 사각형의 영역을 나타내는 데이터인 예를, 나타내고 있다. 또한, 도 7은, 도 5와 마찬가지로, 영역(1), 영역(2), 영역(3), 및 영역(4)이라는 4개의 영역이 설정되어 있는 예를 나타내고 있다.
도 6에 도시하는 "Embedded Data"로서 영역의 크기를 나타내는 정보가 송신됨에 의해, 수신 장치는, 도 7의 R1에 도시하는 영역(1)을 포함하는 최소의 사각형의 영역, 도 7의 R2에 도시하는 영역(2)을 포함하는 최소의 사각형의 영역, 도 7의 R3에 도시하는 영역(3)을 포함하는 최소의 사각형의 영역, 및 도 7의 R4에 도시하는 영역(4)을 포함하는 최소의 사각형의 영역을, 특정할 수 있다. 즉, 도 6에 도시하는 "Embedded Data"로서 영역의 크기를 나타내는 정보가 송신됨에 의해, 수신 장치가, 영역 정보에 의거하여 각 영역을 포함하는 최소의 사각형의 영역을 특정하는 기능을 갖지 않는 경우라도, 수신 장치에, 영역 정보에 의거하여 각 영역을 포함하는 최소의 사각형의 영역을 특정시킬 수 있다. 또한, 영역의 크기를 나타내는 정보가, 각 영역을 포함하는 최소의 사각형의 영역을 나타내는 데이터로 한정되지 않음은, 말할 필요도 없다.
영역의 우선도를 나타내는 정보로서는, 예를 들면, 우선도가 높은 순서로 ROI ID가 나열되어 있는 데이터나, 우선도가 낮은 순서로 ROI ID가 나열되어 있는 데이터 등, 영역의 우선도를 특정하는 것이 가능한 임의의 형식의 데이터를, 들 수 있다. 도 6에 도시하는 "Embedded Data"로서 영역의 우선도를 나타내는 정보가 송신됨에 의해, 수신 장치는, 예를 들면, 영역의 처리 순서나, 어느 영역을 우선적으로 처리하는지를, 특정할 수 있다. 즉, 도 6에 도시하는 "Embedded Data"로서 영역의 우선도를 나타내는 정보가 송신됨에 의해, 수신 장치에서의 영역에 대한 처리를 제어할 수 있다.
또한, 도 6에 도시하는 "Embedded Data"로서 송신되는, 영역의 데이터량을 나타내는 정보, 영역의 크기를 나타내는 정보, 및 영역의 우선도를 나타내는 정보 각각의 예가, 상기에 나타내는 예로 한정되지 않음은, 말할 필요도 없다.
도 6에 도시하는 "PH"는, 롱 패킷의 패킷 헤더이다. 여기서, 제1의 송신 방식에 관한 롱 패킷의 패킷 헤더는, 영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 영역 정보로부터 변화하고 있는지의 여부를 나타내는 데이터(변화 정보)로서, 기능하여도 좋다. 즉, 도 6에 도시하는 "PH"는, 롱 패킷의 데이터 타입을 나타내는 하나의 데이터라고 말할 수 있다.
한 예를 들면, 화상 센서(100)는, 영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 영역 정보로부터 변화하고 있는 경우, "PH"에 "0x38"을 설정한다. 이 경우, 화상 센서(100)는, 영역 정보를 롱 패킷의 페이로드에 격납한다.
다른 예를 들면, 화상 센서(100)는, 영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 영역 정보로부터 변화하지 않는 경우, "PH"에 "0x39"를 설정한다. 이 경우, 화상 센서(100)는, 영역 정보를 롱 패킷의 페이로드에 격납하지 않는다. 즉, 영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 영역 정보로부터 변화하지 않는 경우, 화상 센서(100)는, 영역 정보를 송신시키지 않는다.
또한, "PH"로 설정되는 데이터가, 상기에 나타내는 예로 한정되지 않음은, 말할 필요도 없다.
도 6에 도시하는 "Info"는, 페이로드에 격납되는 영역 정보이다(다른 도면에서도 마찬가지이다). 도 6에 도시하는 바와 같이, 영역 정보는, 페이로드의 선두 부분에 격납된다. 이하에서는, 영역 정보를 "ROI Info"로 나타내는 경우가 있다.
도 6에 도시하는 "1", "2", "3", 및 "4" 각각은, 페이로드에 격납되는, 영역(1)의 영역 데이터, 영역(2)의 영역 데이터, 영역(3)의 영역 데이터, 및 영역(4)의 영역 데이터에 해당한다(다른 도면에서도 마찬가지이다). 또한, 도 6에서는, 각 영역 데이터가 구획되어 나타나 있지만, 이것은 편의상 분할(division)을 나타냈던 것이고, 페이로드에 격납되는 데이터에 분할은 없다(다른 도면에서도 마찬가지이다). 이하에서는, 영역 데이터를 "ROI DATA"로 나타내는 경우가 있다.
도 8은, 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 의해 송신되는 롱 패킷의 구성의 한 예를 도시하는 설명도이다.
도 8에 도시하는 "ROI Info Type"은, "ROI Info Parameter"의 전송 형식을 나타내는 데이터이다. "ROI Info Type"이 설정됨에 의해, 영역 정보를 수신한 수신 장치는, "ROI Info Parameter"의 내용을 일의적으로 특정하는 것이 가능해진다.
또한, "ROI Info Type"은, 롱 패킷의 데이터 타입을 나타내는 다른 데이터에 해당한다. 즉, 제1의 송신 방식에 관한 롱 패킷에서는, "PH" 및 "ROI Info Type"이라는 2개가, 롱 패킷의 데이터 타입으로서 정의된다.
"ROI Info Type"은, 예를 들면 1-byte의 데이터이고, Verilog-HDL 표기로 나타내면 하기한 의미를 갖는다. 또한, "ROI Info Type"이 1-byte의 데이터로 한정되지 않음은, 말할 필요도 없다.
- [7: 4] … Reserved
- [3] … [1'b1] : Y를 전송한다, [1'b0] : Y를 전송하지 않는다
- [2] … [1'b1] : ROI ID를 전송한다, [1'b0] : ROI ID를 전송하지 않는다
- [1] … [1'b1] : X를 전송한다, [1'b0] : X를 전송하지 않는다
- [0] … [1'b1] : ROI 길이를 전송한다, [1'b0] : ROI 길이를 전송하지 않는다
또한, 도 8에 도시하는 "ROI Info Parameter"에는, "ROI Info Type"에 응한 데이터가 격납된다.
또한, 제1의 송신 방식에 관한 영역 정보에는, 예를 들면, 영역의 x좌표 및 ROI 길이의 쌍방이, 하나 전에 송신시키는 패킷에 포함되는 영역 정보로부터 변화하지 않는 것을 나타내는 플래그(이하, "NO CHANGE 플래그"로 나타낸다.)가, 포함되어 있어도 좋다. NO CHANGE 플래그가 변화하지 않는 것을 나타내는 경우(예를 들면, NO CHANGE 플래그가 1'b1인 경우), "ROI Info Type"의 상기 [1] 및 상기 [0]은, 생략되어도 좋다.
NO CHANGE 플래그로서는, 예를 들면, ROI ID의 MSB(Most Significant Bit)를 들 수 있다. 또한, NO CHANGE 플래그는, ROI ID와는 별도의 데이터라도 좋다.
도 9는, 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 의해 송신되는 데이터의 한 예를 도시하는 설명도이고, 도 8에 나타내는 롱 패킷의 구성에 따라 도 6에 도시하는 데이터를 구체적으로 도시한 도면이다.
제1의 송신 방식에서는, 도 5에 도시하는 영역(1), 영역(2), 영역(3), 및 영역(4) 각각에 대응하는 영역 정보 및 영역 데이터는, 예를 들면 도 9에 도시하는 바와 같이, MIPI의 롱 패킷의 페이로드에 격납되어, 행마다 송신된다.
상술한 바와 같이, 화상 센서(100)는, 영역의 데이터량을 나타내는 정보, 영역의 크기를 나타내는 정보, 및 영역의 우선도를 나타내는 정보 중의 1 또는 2 이상(부가 정보의 한 예)를, 도 6에 도시하는 "Embedded Data"로서 송신하는 것이 가능하다.
(1-2) 제1의 송신 방식의 특징, 이점
본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식은, 예를 들면 하기에 나타내는 특징을 갖는다. 또한, 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식이 갖는 특징이, 하기에 나타내는 예로 한정되지 않음은, 말할 필요도 없다.
- EBD에 의해 부가 정보를 송신하고, 페이로드에 의해, 설정되는 영역에 대응하는 영역 정보를 송신한다
- 영역 정보에 포함되는 정보 중, 변화점에 대응하는 정보만을 송신한다
- 임의의 형상의 영역에 대응할 수 있다
또한, 제1의 송신 방식에서는, 페이로드의 선두 부분에 격납되어 송신된 영역 정보는, 예를 들면 하기한 특징을 갖는다. 또한, 제1의 송신 방식에 관한 영역 정보가 갖는 특징이, 하기에 나타내는 예로 한정되지 않음은, 말할 필요도 없다.
- 롱 패킷의 데이터 타입이, 영역 전송용으로 2개 정의된다
-- 일방은, 영역 정보의 전송시에 이용된다(예를 들면, "0x38"를 나타내는 데이터)
-- 타방은, 영역 정보가 하나 전에 송신시키는 패킷에 포함되는 영역 정보와 동일한 경우에 이용된다(예를 들면, "0x39"를 나타내는 데이터)
- 후술하는 제2의 송신 방식에 관한 쇼트 패킷과 달리, 분할이 없기 때문에, 파라미터 전송 형식을 송신한다
- 하나의 행에 동일한 영역이 복수 존재하는 경우, 존재하는 수만큼, 동일한 영역의 식별 정보를 송신함에 의해, 하나의 행에 복수 존재하는 동일한 영역의 정보를, 전송한다
- 행의 위치를 나타내는 정보(Y)
-- 초기치 0(제로)로 잉크리먼트된다
-- 소정의 순서에 따라 송신되지 않는 때(예를 들면 솎아낼 때)에 송신된다
- NO CHANGE 플래그
-- 영역의 식별 정보(ROI ID)의 MSB를 이용하여 송신한다
- 영역의 식별 정보(I)
-- 영역이 증감할 때에 송신된다
-- 영역의 열의 위치, ROI 길이가 변경되는 경우에 송신한다
- 영역의 열의 위치를 나타내는 정보(X)
-- 초기치 0(제로)
-- 변경할 때에 송신된다
-- 영역의 식별 정보와 세트로 송신된다
- 영역의 크기를 나타내는 정보(L)
-- 최초에 송신된 행에서는, 반드시 설정된다
-- 변경될 때에 송신된다
-- 영역의 식별 정보와 세트로 송신된다
또한, 제1의 송신 방식은, 예를 들면 하기에 나타내는 이점을 갖는다.
- 전송 효율이 높다
- 이미 규정되어 있는 CSI-2 규격과 후방 호환성이 있다
- 임의의 영역(ROI)의 형상을 전송 가능하다
(1-3) 제1의 송신 방식에 관한 구성례
다음에, 상술한 제1의 송신 방식에 대응하는 화상 센서(100)의 구성의 한 예와, 제1의 송신 방식에 대응하는 프로세서(200)의 구성의 한 예(화상 센서(100)로부터 송신된 데이터의 처리에 관한 구성의 한 예)를 나타낸다.
(1-3-1) 제1의 송신 방식에 대응하는 화상 센서(100)(송신 장치)의 구성
도 10은, 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 대응하는 화상 센서(100)의 구성의 한 예를 도시하는 하드웨어 블록도이다. 화상 센서(100)는, 예를 들면, 화상 센서 디바이스(102)와, IC 칩(104)을 구비한다. 도 10에 도시하는 화상 센서(100)는, 배터리 등의 통신 시스템(1000)을 구성하는 내부 전원(도시 생략)으로부터 공급되는 전력, 또는, 통신 시스템(1000)의 외부 전원으로부터 공급되는 전력에 의해, 동작한다.
화상 센서 디바이스(102)는, 예를 들면, "디지털 카메라 등의 촬상 디바이스"나, "적외선 센서", "거리 화상 센서" 등의, 화상을 생성하는 것이 가능한 임의의 방식의 화상 센서 디바이스이다.
한 예를 들면, 화상 센서 디바이스(102)로서 기능하는 촬상 디바이스는, 렌즈/촬상 소자와 신호 처리 회로를 포함하여 구성된다.
렌즈/촬상 소자는, 예를 들면, 광학계의 렌즈와, CMOS(Complementary Metal Oxide Semiconductor)나 CCD(Charge Coupled Device) 등의 촬상 소자를 복수 이용한 이미지 센서로 구성된다.
신호 처리 회로는, 예를 들면, AGC(Automatic Gain Control) 회로나 ADC(Analog to Digital Converter)를 구비하고, 촬상 소자에 의해 생성된 아날로그 신호를 디지털 신호(화상 데이터)로 변환한다. 또한, 신호 처리 회로는, 예를 들면 RAW 현상에 관한 각종 처리를 행한다. 또한, 신호 처리 회로는, 예를 들면, White Balance 보정 처리나, 색조 보정 처리, 감마 보정 처리, YCbCr 변환 처리, 에지 강조 처리 등 각종 신호 처리를 행하여도 좋다.
또한, 신호 처리 회로는, 화상에 대한 영역의 설정에 관한 처리를 행하여, 영역 지정 정보를 IC 칩(104)에 전달하여도 좋다. 또한, 신호 처리 회로는, 노광 정보나 게인 정보 등의 다양한 데이터를, IC 칩(104)에 전달하여도 좋다.
화상 센서 디바이스(102)에 의해 생성된 화상을 나타내는 신호는, IC 칩(104)에 전달된다. 또한, 화상 센서 디바이스(102)로부터 IC 칩(104)에 전달되는 화상을 나타내는 신호가 아날로그 신호인 경우, IC 칩(104)은, 예를 들면, 구비하고 있는 ADC에서 아날로그 신호를 디지털 신호로 변환하고, 변환에 의해 얻어진 화상 데이터를 처리한다. 이하에서는, 화상 센서 디바이스(102)로부터 IC 칩(104)에 화상 데이터가 전달되는 경우를 예로 든다.
IC 칩(104)은, 제1의 송신 방식에 의한 데이터의 송신 기능에 관한 회로가 집적된 IC(Integrated Circuit)가 칩형상으로 형성된 것이고, 화상 센서 디바이스(102)로부터 전달된 화상 데이터를 처리하고, 생성된 화상에 대응하는 데이터를 송신한다. 화상에 대응하는 데이터란, 화상 센서 디바이스(102)로부터 전달되는 화상 데이터(즉, 화상 전체를 나타내는 데이터), 또는, 영역 정보 및 영역 데이터이다. 또한, 제1의 송신 방식에 의한 데이터의 송신 기능에 관한 회로는, 하나의 IC 칩의 형태로 실현되는 것으로 한정되지 않고, 복수의 IC 칩으로 형성되어 있어도 좋다.
IC 칩(104)은, 예를 들면, 화상 처리 회로(106)와, LINK 제어 회로(108)와, ECC 생성 회로(110)와, PH 생성 회로(112)와, EBD 버퍼(114)와, 화상 데이터 버퍼(116)와, 합성 회로(118)와, 송신 회로(120)를 구비한다.
화상 처리 회로(106)는, 본 실시 형태에 관한 송신 방법에 관한 처리를 행하는 기능을 갖는 하나의 회로이다. 본 실시 형태에 관한 송신 방법에 관한 처리를 행하는 경우, 화상 처리 회로(106)는, 영역 정보를 화상에서의 행마다 설정하고, 설정된 영역 정보와 영역에 대응하는 영역 데이터를, LINK 제어 회로(108), ECC 생성 회로(110), PH 생성 회로(112), EBD 버퍼(114), 화상 데이터 버퍼(116), 합성 회로(118), 송신 회로(120)에 의해, 행마다 제1의 송신 방식으로 송신시킨다. 또한, 화상 처리 회로(106)는, 화상 센서 디바이스(102)로부터 전달되는 화상 데이터(즉, 화상 전체를 나타내는 데이터)를, 행마다 송신시키는 것도 가능하다.
화상 처리 회로(106)로서는, 예를 들면 MPU 등의 프로세서를, 들 수 있다.
화상 처리 회로(106)가 갖는 기능을, 기능 블록으로 나누어 설명한다. 도 10에 도시하는 바와 같이, 화상 처리 회로(106)는, 예를 들면, 영역 절출부(122)와, 화상 처리 제어부(124)와, 인코드부(126)를 갖는다.
영역 절출부(122)는, 화상에 대한 영역의 설정에 관한 처리를 행하는 역할을 다하고, 화상 센서 디바이스(102)로부터 전달되는 화상 데이터가 나타내는 화상에 대해, 영역(ROI)을 설정한다. 영역 절출부(122)는, 예를 들면, 설정되어 있는 동작 모드에 응하여, 화상에 대한 영역의 설정에 관한 처리를 행한다. 예를 들면, 영역 절출부(122)는, 동작 모드가 영역 데이터를 송신하는 동작 모드인 경우에, 화상에 대한 영역의 설정에 관한 처리를 행한다. 또한, 영역 절출부(122)는, 동작 모드가 화상 전체를 나타내는 데이터를 송신하는 동작 모드인 경우에는, 화상에 대한 영역의 설정에 관한 처리를 행하지 않는다.
영역 절출부(122)는, 예를 들면, 화상에 대해 임의의 물체 검출 처리를 행하여 물체를 검출하고, 검출된 물체마다, 검출된 물체를 포함하는 영역을 설정한다. 또한, 영역 절출부(122)는, 임의의 조작 디바이스에 대한 조작 등에 의해 지정된 영역을, 설정하여도 좋다. 영역 절출부(122)가 설정하는 영역으로서는, 예를 들면, 도 5에 도시하는 영역(1)에 나타내는 바와 같은 같은 사각형의 영역과, 도 5의 영역(2), 영역(3), 및 영역(4)과 같은, 화상에 대해 설정되는 사각형 이외의 임의의 형상의 영역이, 포함될 수 있다.
영역이 설정된 경우, 영역 절출부(122)는, 예를 들면, 설정된 영역을 나타내는 영역 지정 정보를, 화상 처리 제어부(124)에 전달한다. 또한, 영역이 설정되지 않는 경우, 영역 절출부(122)는, 영역 지정 정보를 화상 처리 제어부(124)에 전달하지 않는다.
또한, 영역 절출부(122)는, 화상 센서 디바이스(102)로부터 전달되는 화상 데이터를, 인코드부(126)에 전달한다.
화상 처리 제어부(124)는, 본 실시 형태에 관한 송신 방법에 관한 처리를 행하는 역할을 다하고, 영역 정보를 화상에서의 행마다 설정하고, 설정된 영역 정보를, 인코드부(126)와 PH 생성 회로(112)에 전달한다.
화상 처리 제어부(124)는, 예를 들면, 영역 절출부(122)로부터 취득되는 영역 지정 정보, 또는, 외부 장치로부터 취득된 영역 지정 정보(도시 생략)에 의거하여, 화상에서의 각 행에 포함되는 영역을 특정한다. 그리고, 화상 처리 제어부(124)는, 특정된 영역에 의거하여, 행마다 영역 정보를 설정한다. 이때, 화상 처리 제어부(124)는, 상술한 예외 처리에 나타내는 바와 같이, 하나 전에 송신시키는 행의 영역 정보에 포함되는 정보로부터 변화하지 않는 정보는, 영역 정보로 설정하지 않아도 좋다.
또한, 영역 지정 정보가 취득되지 않는 경우, 화상 처리 제어부(124)는, 영역 정보를 설정하지 않는다.
또한, 화상 처리 제어부(124)에서의 처리는, 상기에 나타내는 예로 한정되지 않는다.
예를 들면, 화상 처리 제어부(124)는, 예를 들면, 프레임 정보를 생성하고, 생성한 프레임 정보를 LINK 제어 회로(108)에 전달하여도 좋다. 프레임 정보로서는, 예를 들면, 프레임마다 부여되는 VC의 번호를 들 수 있다. 또한, 프레임 정보에는, YUV 데이터, RGB 데이터 또는 RAW 데이터 등의 데이터 타입을 나타내는 데이터가 포함되어 있어도 좋다.
또한, 예를 들면, 화상 처리 제어부(124)는, 부가 정보를 설정하는 처리를 행하여, 설정된 부가 정보를 EBD 버퍼(114)에 전달하여도 좋다.
부가 정보를 설정하는 처리로서는, 예를 들면 부가 정보를 생성하는 처리를 들 수 있다. 부가 정보를 생성하는 처리로서는, 예를 들면, 영역의 데이터량을 나타내는 정보를 생성하는 처리, 영역의 크기를 나타내는 정보를 생성하는 처리, 및 영역의 우선도를 나타내는 정보를 생성하는 처리 중의 1 또는 2 이상을, 들 수 있다.
또한, 부가 정보를 설정하는 처리는, 부가 정보를 생성하는 처리로 한정되지 않는다. 예를 들면, 화상 처리 제어부(124)는, 노광 정보나 게인 정보 등의 화상 센서 디바이스(102)로부터 취득된 정보를, 부가 정보로서 설정하여도 좋다. 또한, 화상 처리 제어부(124)는, 예를 들면, 물리 영역 길이를 나타내는 데이터, 출력 영역 길이를 나타내는 데이터, 화상 포맷을 나타내는 데이터, 데이터 총량을 나타내는 데이터 등의, 다양한 영역에 관한 데이터를, 부가 정보로서 설정하여도 좋다. 물리 영역 길이로서는, 예를 들면 화상 센서 디바이스(102)의 화소수를 들 수 있다. 출력 영역 길이로서는, 예를 들면 화상 센서 디바이스(102)로부터 출력되는 화상의 화소수(화상상의 길이)를 들 수 있다.
인코드부(126)는, 예를 들면, 화상 센서 디바이스(102)로부터 전달되는 화상 데이터를, 예를 들면 JPEG(Joint Photographic Experts Group) 규격에 대응하는 방식 등의 소정의 방식으로 인코드한다.
화상 처리 제어부(124)로부터 영역 정보가 취득되지 않는 경우, 인코드부(126)는, 인코드된 화상 데이터를, 화상 데이터 버퍼(116)에 전달한다. 이하에서는, 인코드된 화상 데이터, 즉, 인코드된 화상 전체를 나타내는 데이터를 「통상 데이터」로 나타내는 경우가 있다.
또한, 화상 처리 제어부(124)로부터 영역 정보가 취득되는 경우, 인코드부(126)는, 취득된 영역 정보와, 영역에 대응하는 인코드된 영역 데이터를, 화상 데이터 버퍼(116)에 전달한다.
화상 처리 회로(106)는, 예를 들면, 영역 절출부(122), 화상 처리 제어부(124), 및 인코드부(126)를 가짐에 의해, 본 실시 형태에 관한 송신 방법에 관한 처리를 행한다. 또한, 도 10에 도시하는 화상 처리 회로(106)의 기능 블록은, 화상 처리 회로(106)가 갖는 기능을 편의상 잘라 나눈 것이고, 화상 처리 회로(106)에서의 기능의 잘라 나누는 방식은, 도 10에 도시하는 예로 한정되지 않는다.
LINK 제어 회로(108)는, 예를 들면, 프레임 정보를, 행마다 ECC 생성 회로(110), PH 생성 회로(112), 및 합성 회로(118)에 전달한다.
ECC 생성 회로(110)는, 행마다 오류 정정 부호를 설정한다. ECC 생성 회로(110)는, 예를 들면, 프레임 정보에서의 1행의 데이터(예를 들면, VC의 번호, 데이터 타입 등)에 의거하여, 그 행의 오류 정정 부호를 생성한다. ECC 생성 회로(110)는, 예를 들면, 생성한 오류 정정 부호를 PH 생성 회로(112)와 합성 회로(118)에 전달한다. 또한, ECC 생성 회로(110)는, PH 생성 회로(112)와 연휴하여 오류 정정 부호를 생성하여도 좋다.
PH 생성 회로(112)는, 프레임 정보를 이용하여, 행마다 패킷 헤더를 생성한다.
PH 생성 회로(112)는, 화상 처리 회로(106)(도 10의 예에서는, 화상 처리 제어부(124))로부터 전달되는 영역 정보에 의거하여, 패킷 헤더를 생성하여도 좋다. 구체적으로는, PH 생성 회로(112)는, 영역 정보에 의거하여, 상술한 바와 같은 "영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 영역 정보로부터 변화하고 있는지의 여부를 나타내는 데이터"(변화 정보)를, 패킷 헤더에 설정한다.
EBD 버퍼(114)는, 화상 처리 회로(106)(도 10의 예에서는, 화상 처리 제어부(124))로부터 전달되는 부가 정보를 일시적으로 유지하는 버퍼이다. EBD 버퍼(114)는, 소정의 타이밍에서 부가 정보를 "EmbeddedData"로서 합성 회로(118)에 출력한다. 또한, EBD 버퍼(114)로부터 출력되는 "EmbeddedData"는, 후술하는 화상 데이터 버퍼(116)를 경유하여 합성 회로(118)에 전달되어도 좋다.
화상 데이터 버퍼(116)는, 화상 처리 회로(106)(도 10의 예에서는, 인코드부(126))로부터 전달되는 데이터(통상 데이터, 또는, 영역 정보 및 영역 데이터)를 일시적으로 유지하는 버퍼이다. 화상 데이터 버퍼(116)는, 유지하고 있고 있는 데이터를, 소정의 타이밍에서 행마다 합성 회로(118)에 출력한다.
합성 회로(118)는, 예를 들면, ECC 생성 회로(110), PH 생성 회로(112), EBD 버퍼(114), 및 화상 데이터 버퍼(116) 각각으로부터 취득된 데이터에 의거하여, 전송하는 패킷을 생성한다.
송신 회로(120)는, 합성 회로(118)로부터 전달되는 패킷을, 행마다 데이터 버스(B1)(신호의 전송로의 한 예. 이하, 마찬가지라고 한다.)를 통하여 송신한다. 예를 들면 송신 회로(120)는, 도 4에 도시하는 바와 같은 고속 차동 신호에 의해 패킷을 송신한다.
예를 들면 도 5에 도시하는 영역(1), 영역(2), 영역(3), 및 영역(4)이 설정된 경우, 송신 회로(120)는, 도 9에 도시하는 바와 같이, 설정된 영역 정보와 영역에 대응하는 영역 데이터를, 행마다 롱 패킷으로 송신한다.
또한, 영역이 설정되지 않는 경우, 즉, 화상 데이터 버퍼(116)로부터 통상 데이터가 출력되는 경우에는, 송신 회로(120)는, 각 행에 대응하는 데이터가 페이로드에 격납된 롱 패킷을, 행마다 송신한다. 또한, 이 경우에서도, 송신 회로(120)는, 부가 정보를 "EmbeddedData"로서 송신하는 것이 가능하다.
제1의 송신 방식에 대응하는 화상 센서(100)는, 예를 들면 도 10에 도시하는 하드웨어 구성을 갖는다. 또한, 제1의 송신 방식에 대응하는 화상 센서(100)의 하드웨어 구성이, 도 10에 도시하는 예로 한정되지 않음은, 말할 필요도 없다.
(1-3-2) 제1의 송신 방식에 대응하는 프로세서(200)(수신 장치)의 구성
도 11은, 본 실시 형태에 관한 송신 방법에 관한 제1의 송신 방식에 대응하는 프로세서(200)의 구성의 한 예를 도시하는 기능 블록도이다. 프로세서(200)는, 예를 들면, 헤더 분리부(202)와, 헤더 해석부(204)와, 페이로드 분리부(206)와, 화상 처리부(208)와, 송신부(210)를 갖는다.
헤더 분리부(202)는, 수신된 데이터로부터, 헤더 부분에 대응하는 헤더 데이터와, 페이로드 부분에 대응하는 페이로드 데이터를 분리한다. 헤더 분리부(202)는, 예를 들면, 규격 등으로 미리 규정된 룰에 따라, 수신된 데이터로부터 헤더 데이터를 분리한다. 또한, 헤더 분리부(202)는, 예를 들면, 규격 등으로 미리 규정된 룰에 따라, 수신된 데이터로부터 페이로드 데이터를 분리하여도 좋고, 헤더 해석부(204)의 처리의 결과에 의거하여 수신된 데이터로부터 페이로드 데이터를 분리하여도 좋다.
헤더 해석부(204)는, 헤더 데이터가 나타내는 내용을 해석한다.
한 예를 들면, 헤더 해석부(204)는, 예를 들면, 헤더 데이터가 "0x38"를 나타내는 경우, 영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 영역 정보로부터 변화하고 있다고 해석한다. 또한, 이 경우, 헤더 해석부(204)는, 페이로드 데이터에 영역 정보가 포함되어 있다고 해석하여도 좋다.
다른 예를 들면, 헤더 해석부(204)는, 예를 들면, 헤더 데이터가 "0x39"를 나타내는 경우, 영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 영역 정보로부터 변화하고 있지 않다고 해석한다. 또한, 이 경우, 헤더 해석부(204)는, 페이로드 데이터에 영역 정보가 포함되지 않았다고 해석하여도 좋다.
또한, 헤더 해석부(204)에서의 처리의 예는, 상기에 나타내는 예로 한정되지 않는다. 예를 들면, 헤더 해석부(204)는, 페이로드 데이터의 위치를 특정하고, 특정한 위치를 헤더 분리부(202)에 전달하여도 좋다. 또한, 헤더 해석부(204)는, 페이로드 데이터가 "Embedded Data"인지를 해석하는 것도 가능하다.
페이로드 분리부(206)는, 헤더 해석부(204)에서의 해석 결과에 의거하여, 페이로드 데이터로부터, 부가 정보, 영역 정보, 및 화상 데이터(통상 데이터 또는 영역 데이터. 이하, 도 11의 설명에 있어서는 마찬가지라고 한다.)를 분리한다.
예를 들면, 헤더 해석부(204)에서의 페이로드 데이터가 "Embedded Data"라고 해석된 경우, 페이로드 분리부(206)는, 페이로드 데이터를 부가 정보라고 한다.
또한, 헤더 해석부(204)에서의 페이로드 데이터가 "Embedded Data"라고 해석되지 않는 경우, 페이로드 분리부(206)는, 페이로드 데이터로부터, 영역 정보와 화상 데이터를 분리한다. 예를 들면 도 6, 도 8, 도 9를 참조하여 설명한 바와 같이, 영역 정보와 영역 데이터는 페이로드에 격납되고, 또한, 영역 정보는, 페이로드의 선두 부분에 격납된다. 또한, 화상 센서(100)로부터 통상 데이터가 송신되는 경우, 페이로드에는 영역 정보는 격납되지 않는다. 따라서, 페이로드 분리부(206)는, 페이로드를 선두 부분부터 처리함에 의해, 영역 정보와 화상 데이터를 분리할 수 있다.
화상 처리부(208)는, 페이로드 분리부(206)로부터 전달되는 부가 정보, 영역 정보, 및 화상 데이터에 의거하여, 행마다의 화상 데이터를 처리하여, 영역에 대응하는 화상을 나타내는 데이터, 또는, 화상 전체를 나타내는 데이터를 얻는다.
화상 처리부(208)는, 예를 들면, 페이로드 분리부(206)로부터 전달되는 정보에 의거하여, 데이터 버스(B1)를 통하여 취득된 데이터가, 영역에 대응하는 화상을 나타내는 데이터인지, 또는, 화상 전체를 나타내는 데이터인지를 판정하고, 판정 결과에 응한 처리 모드로 처리를 행하여도 좋다.
예를 들면, 화상 처리부(208)는, 어느 프레임의 화상을 대상으로 하는 처리를 최초에 행할 때(즉, 최초의 행에 대응하는 처리를 행할 때)에 영역 정보가 전달되는 경우에, 데이터 버스(B1)를 통하여 취득된 데이터가, 영역에 대응하는 화상을 나타내는 데이터라고 판정한다. 그리고, 화상 처리부(208)는, 영역 데이터를 처리하는 처리 모드로 이행하여, 행마다의 영역 정보 및 영역 데이터에 의거하여, 영역에 대응하는 화상을 나타내는 데이터를 얻는다.
예를 들면, 화상 처리부(208)는, 어느 프레임의 화상을 대상으로 하는 처리를 최초에 행할 때에 영역 정보가 전달되지 않는 경우에, 데이터 버스(B1)를 통하여 취득된 데이터가, 화상 전체를 나타내는 데이터라고 판정한다. 그리고, 화상 처리부(208)는, 통상의 처리 모드(통상 데이터를 처리하는 처리 모드)로 이행하여, 행마다의 통상 데이터에 의거하여, 화상 전체를 나타내는 데이터를 얻는다.
또한, 데이터 버스(B1)를 통하여 취득된 데이터의 판정 방법은, 상기에 나타내는 예로 한정되지 않는다. 예를 들면, 화상 처리부(208)는, 영역에 관한 정보(예를 들면, 영역의 데이터량을 나타내는 정보, 영역의 크기를 나타내는 정보, 및 영역의 우선도를 나타내는 정보 중의, 1 또는 2 이상)가, 부가 정보로서 전달된 경우에, 데이터 버스(B1)를 통하여 취득된 데이터가, 영역에 대응하는 화상을 나타내는 데이터라고 판정하여도 좋다.
화상 처리부(208)는, 예를 들면, 디코드부(212)와, 화상 생성부(214)를 갖는다.
디코드부(212)는, 예를 들면, 화상 센서(100)에서의 인코드에 대응하는 소정의 방식으로, 화상 데이터를 디코드한다. 이때, 디코드부(212)는, 부가 정보에 의거하여 처리의 내용을 바꾸어도 좋다.
화상 생성부(214)는, 영역 정보에 의거하여, 디코드부(212)에 의해 디코드된 행마다의 화상 데이터로부터, 영역에 대응하는 화상을 나타내는 데이터, 또는, 화상 전체를 나타내는 데이터를 생성한다.
예를 들면, 화상 생성부(214)는, 어느 프레임의 화상을 대상으로 하는 처리를 최초에 행할 때에 영역 정보가 전달되는 경우에, 디코드부(212)로부터 전달되는 화상 데이터가 영역 데이터라고 판정한다. 그리고, 영역 데이터라고 판정된 경우에는, 화상 생성부(214)는, 영역 정보에 의거하여 행마다의 영역 데이터를, 영역마다 나눈다. 여기서, 화상 생성부(214)가 처리에 이용하는 영역 정보에는, 처리 대상의 행에 대응하는 영역 정보와, 이미 처리를 행하는 행에 대응하는 영역 정보가 포함될 수 있다.
여기서, 영역 정보에는, 기본적으로, 행의 위치를 나타내는 정보, 행에 포함되는 영역의 식별 정보, 행에 포함되는 영역의 열의 위치를 나타내는 정보, 및 행에 포함되는 영역의 크기를 나타내는 정보가 포함되기 때문에, 화상 생성부(214)는, 각 행에 포함되는 영역 데이터를 일의적으로 특정할 수 있다. 따라서, 화상 생성부(214)는, 어느 프레임의 화상에 설정되는 영역에 대응하는 화상을 나타내는 데이터를, 영역마다 생성할 수 있다.
또한, 화상 생성부(214)는, 어느 프레임의 화상을 대상으로 하는 처리를 최초에 행할 때에 영역 정보가 전달되지 않는 경우에는, 전달된 화상 데이터가 통상 데이터라고 판단한다. 통상 데이터라고 판정된 경우, 화상 생성부(214)는, 디코드부(212)로부터 전달되는 행마다의 화상 데이터로부터, 화상 전체를 나타내는 데이터를 생성한다.
화상 처리부(208)는, 예를 들면 디코드부(212)와 화상 생성부(214)를 가짐에 의해, 영역에 대응하는 화상을 나타내는 데이터, 또는, 화상 전체를 나타내는 데이터를 얻는다.
또한, 화상 처리부(208)에서의 처리는, 상기에 나타내는 예로 한정되지 않는다. 예를 들면 상술한 바와 같이, 화상 처리부(208)는, 메모리(300) 등의 기록 매체에의 화상 데이터의 기록 제어에 관한 처리나, 표시 디바이스(400)의 표시 화면에의 화상의 표시 제어에 관한 처리, 화상에 대한 영역의 설정에 관한 처리 등, 다양한 처리를 행하는 것이 가능하다.
송신부(210)는, 각종 데이터(예를 들면, 화상 데이터, 제어 정보 등)를, 제어 버스(B2)나 각종 신호선 등을 통하여, 외부 장치에 송신한다. 송신부(210)로서는, 예를 들면, 프로세서(200)가 구비하는 I2C(Inter Integrated Circuits)나 I3C(Improved Inter Integrated Circuits) 등 소정의 규격에 따른 통신 디바이스를, 들 수 있다.
송신부(210)에서의 통신은, 예를 들면 화상 처리부(208)에 의해 제어된다. 화상 처리부(208)가, 송신부(210)에 각종 데이터(예를 들면, 화상 데이터, 제어 정보 등)를 송신시킴에 의해, 메모리(300) 등의 기록 매체에의 화상 데이터의 기록, 표시 디바이스(400)의 표시 화면에의 화상의 표시, 및 화상 센서(100)에의 설정되는 영역을 나타내는 영역 지정 정보의 송신이, 실현된다.
프로세서(200)는, 예를 들면, 헤더 분리부(202), 헤더 해석부(204), 페이로드 분리부(206), 및 화상 처리부(208), 송신부(210)를 가짐에 의해, 화상 센서(100)로부터 수신한 데이터에 의거하여, 영역에 대응하는 화상을 나타내는 데이터, 또는, 화상 전체를 나타내는 데이터를 얻을 수 있다. 또한, 도 11에 도시하는 프로세서(200)의 기능 블록은, 프로세서(200)가 갖는 기능을 편의상 잘라 나눈 것이고, 프로세서(200)에서의 기능의 잘라 나누는 방식은, 도 11에 도시하는 예로 한정되지 않는다. 또한, 외부 장치에 각종 데이터를 송신하는 기능을 갖지 않는 경우, 프로세서(200)는, 송신부(210)를 갖지 않아도 좋다.
(2) 제2의 송신 방식
(2-1) 제2의 송신 방식에 관한 처리
화상 센서(100)는, 영역 데이터를 제1의 패킷의 페이로드에 격납하고, 영역 정보에 포함되는 정보 각각을, 제1의 패킷과 다른 제2의 패킷에 각각 격납한다. 그리고, 화상 센서(100)는, 제1의 패킷 및 제2의 패킷을, 행마다 송신시킨다.
제2의 송신 방식에 관한 제1의 패킷으로서는, MIPI의 롱 패킷을 들 수 있고, 제2의 송신 방식에 관한 제2의 패킷으로서는, MIPI의 쇼트 패킷을 들 수 있다. 또한, 본 실시 형태에 관한 제1의 패킷 및 제2의 패킷의 예는, 상기에 나타내는 예로 한정되지 않는다. 본 실시 형태에 관한 제1의 패킷 및 제2의 패킷의 다른 예에 관해서는, 후술하는 제3의 송신 방식에서 나타낸다. 이하에 나타내는 제2의 송신 방식에서는, 제1의 패킷이 MIPI의 롱 패킷이고, 제2의 패킷이 MIPI의 쇼트 패킷인 경우를 예로 든다.
도 12는, 본 실시 형태에 관한 송신 방법에 관한 제2의 송신 방식에 의해 송신되는 데이터의 한 예를 도시하는 설명도이다. 도 12는, "도 5에 도시하는 영역(1), 영역(2), 영역(3), 및 영역(4) 각각에 대응하는 영역 정보에 포함되는 정보 각각이, 도 2에 도시하는 MIPI의 쇼트 패킷에 의해, 행마다 송신되는 예"를 나타내고 있다. 또한, 도 12는, "도 5에 도시하는 영역(1), 영역(2), 영역(3), 및 영역(4) 각각에 대응하는 영역 데이터가, 도 3에 도시하는 MIPI의 롱 패킷의 페이로드에 격납하여, 행마다 송신되는 예"를 나타내고 있다.
도 12에 도시하는 "Y"는, 행의 위치를 나타내는 정보가 격납되는 쇼트 패킷을 나타내고 있다. 도 12에 도시하는 "I1", "I2", "I3", "I4"는, 도 5에 도시하는 영역(1), 영역(2), 영역(3), 및 영역(4) 각각에 대응하는 영역의 식별 정보가 격납되는, 쇼트 패킷을 나타내고 있다. 도 12에 도시하는 "X1", "X2", "X3", "X4"는, 도 5에 도시하는 영역(1), 영역(2), 영역(3), 및 영역(4) 각각에 대응하는 영역의 열의 위치를 나타내는 정보가 격납되는, 쇼트 패킷을 나타내고 있다. 도 12에 도시하는 "L1", "L2", "L3", "L4"는, 도 5에 도시하는 영역(1), 영역(2), 영역(3), 및 영역(4) 각각에 대응하는 영역의 크기를 나타내는 정보가 격납되는, 쇼트 패킷을 나타내고 있다.
도 6에 도시하는 바와 같이 상술한 상기 (1)에 나타내는 제1의 송신 방식이 이용되는 경우, 영역 정보와 영역 데이터는, 예를 들면 MIPI의 롱 패킷 등의 하나의 패킷의 페이로드에 격납되어, 행마다 송신된다.
이에 대해, 도 12에 도시하는 바와 같이 제2의 송신 방식이 이용되는 경우, 영역 정보와 영역 데이터는 다른 패킷에 나누어 격납되어, 행마다 송신된다.
또한, 도 12에 도시하는 바와 같이, 제2의 송신 방식이 이용되는 경우에서도, 제1의 송신 방식이 이용되는 경우와 마찬가지로, "Embedded Data"를 송신하는 것이 가능하다. 즉, 화상 센서(100)는, 영역의 데이터량을 나타내는 정보, 영역의 크기를 나타내는 정보, 및 영역의 우선도를 나타내는 정보 중의 1 또는 2 이상(부가 정보의 한 예)을, 도 12에 도시하는 "Embedded Data"로서 송신할 수 있다.
(2-2) 제2의 송신 방식의 특징, 이점
본 실시 형태에 관한 송신 방법에 관한 제2의 송신 방식은, 예를 들면 하기에 나타내는 특징을 갖는다. 또한, 본 실시 형태에 관한 송신 방법에 관한 제2의 송신 방식이 갖는 특징이, 하기에 나타내는 예로 한정되지 않음은, 말할 필요도 없다.
- EBD에 의해 부가 정보를 송신하고, 쇼트 패킷에 의해, 설정되는 영역에 대응하는 영역 정보를 송신한다
- 영역 정보에 포함되는 정보 중, 변화점에 대응하는 정보만을 송신한다
- 임의의 형상의 영역에 대응할 수 있다
또한, 제2의 송신 방식에서는, 쇼트 패킷에 의해 송신되는 영역 정보는, 예를 들면 하기한 특징을 갖는다. 또한, 제2의 송신 방식에 관한 영역 정보가 갖는 특징이, 하기에 나타내는 예로 한정되지 않음은, 말할 필요도 없다.
- 하나의 행에 동일한 영역이 복수 존재하는 경우, 존재하는 수만큼, 동일한 영역의 식별 정보를 송신함에 의해, 하나의 행에 복수 존재하는 동일한 영역의 정보를, 전송한다
- 행의 위치를 나타내는 정보(Y)
-- 초기치0(제로)로 잉크리먼트된다
-- 소정의 순서에 따라 송신되지 않는 때(예를 들면 솎아낼 때)에 송신된다
- 영역의 식별 정보(I)
-- 영역이 증감할 때에 송신된다
-- 영역의 열의 위치, ROI 길이가 변경되는 경우에 송신한다
- 영역의 열의 위치를 나타내는 정보(X)
-- 초기치 0(제로)
-- 변경할 때에 송신된다
-- 영역의 식별 정보와 세트로 송신된다
- 영역의 크기를 나타내는 정보(L)
-- 최초에 송신된 행에서는, 반드시 설정된다
-- 변경될 때에 송신된다
-- 영역의 식별 정보와 세트로 송신된다
-- 변경이 있어도 1행에 하나밖에 영역이 없는 경우는, 생략되어도 좋다(롱 패킷의 페이로드 길이가, ROI 길이와 동일하게 되기 때문)
또한, 제2의 송신 방식은, 예를 들면 하기에 나타내는 이점을 갖는다.
- 영역 정보의 오류 정정이 가능하다
- 이미 규정되어 있는 CSI-2 규격과 후방 호환성이 있다
- 임의의 영역(ROI)의 형상을 전송 가능하다
(2-3) 제2의 송신 방식에 관한 구성례
다음에, 상술한 제2의 송신 방식에 대응하는 화상 센서(100)의 구성의 한 예와, 제2의 송신 방식에 대응하는 프로세서(200)의 구성의 한 예(화상 센서(100)로부터 송신된 데이터의 처리에 관한 구성의 한 예)를 나타낸다.
(2-3-1) 제2의 송신 방식에 대응하는 화상 센서(100)(송신 장치)의 구성
도 13은, 본 실시 형태에 관한 송신 방법에 관한 제2의 송신 방식에 대응하는 화상 센서(100)의 구성의 한 예를 도시하는 하드웨어 블록도이다. 화상 센서(100)는, 예를 들면, 화상 센서 디바이스(102)와, IC 칩(150)을 구비한다. 도 13에 도시하는 화상 센서(100)는, 도 10에 도시하는 화상 센서(100)와 마찬가지로, 통신 시스템(1000)을 구성하는 내부 전원(도시 생략)으로부터 공급되는 전력 등에 의해, 동작한다.
도 13에 도시하는 화상 센서 디바이스(102)는, 도 10에 도시하는 화상 센서 디바이스(102)와 같은 기능, 구성을 갖는다.
IC 칩(150)은, 제2의 송신 방식에 의한 데이터의 송신 기능에 관한 회로가 집적된 IC가 칩형상으로 형성된 것이고, 화상 센서 디바이스(102)로부터 전달되는 화상 데이터를 처리하고, 생성된 화상에 대응하는 데이터를 송신한다. 또한, 제2의 송신 방식에 의한 데이터의 송신 기능에 관한 회로는, 하나의 IC 칩의 형태로 실현되는 것으로 한정되지 않고, 복수의 IC 칩으로 형성되어 있어도 좋다.
IC 칩(150)은, 예를 들면, 화상 처리 회로(152)와, LINK 제어 회로(108)와, ECC 생성 회로(110)와, PH 생성 회로(154)와, EBD 버퍼(114)와, 화상 데이터 버퍼(116)와, 합성 회로(156)와, 송신 회로(120)를 구비한다.
도 13에 도시하는 LINK 제어 회로(108), ECC 생성 회로(110), EBD 버퍼(114), 화상 데이터 버퍼(116), 및 송신 회로(120) 각각은, 도 10에 도시하는 LINK 제어 회로(108), ECC 생성 회로(110), EBD 버퍼(114), 화상 데이터 버퍼(116), 및 송신 회로(120)와 같은 기능, 구성을 갖는다.
화상 처리 회로(152)는, 본 실시 형태에 관한 송신 방법에 관한 처리를 행하는 기능을 갖는 하나의 회로이다. 본 실시 형태에 관한 송신 방법에 관한 처리를 행하는 경우, 화상 처리 회로(152)는, 영역 정보를 화상에서의 행마다 설정하고, 설정된 영역 정보와 영역에 대응하는 영역 데이터를, LINK 제어 회로(108), ECC 생성 회로(110), PH 생성 회로(154), EBD 버퍼(114), 화상 데이터 버퍼(116), 합성 회로(156), 송신 회로(120)에 의해, 행마다 제2의 송신 방식으로 송신시킨다. 또한, 화상 처리 회로(152)는, 화상 센서 디바이스(102)로부터 전달되는 화상 데이터(즉, 화상 전체를 나타내는 데이터)를, 행마다 송신시키는 것도 가능하다.
화상 처리 회로(152)로서는, 예를 들면 MPU 등의 프로세서를, 들 수 있다.
화상 처리 회로(152)가 갖는 기능을, 기능 블록으로 나누어 설명한다. 도 13에 도시하는 바와 같이, 화상 처리 회로(152)는, 예를 들면, 영역 절출부(122)와, 화상 처리 제어부(124)와, 인코드부(158)를 갖는다.
도 13에 도시하는 영역 절출부(122) 및 화상 처리 제어부(124)의 기능은, 도 10에 도시하는 영역 절출부(122) 및 화상 처리 제어부(124)와 마찬가지이다.
인코드부(158)는, 도 10에 도시하는 인코드부(126)와 마찬가지로, 화상 센서 디바이스(102)로부터 전달된 화상 데이터를, 소정의 방식으로 인코드한다.
화상 처리 제어부(124)로부터 영역 정보가 취득되지 않는 경우, 인코드부(158)는, 도 10에 도시하는 인코드부(126)와 마찬가지로, 인코드된 화상 데이터를, 화상 데이터 버퍼(116)에 전달한다.
또한, 화상 처리 제어부(124)로부터 영역 정보가 취득되는 경우, 인코드부(158)는, 취득된 영역 정보에 의거하여 영역을 특정하고, 특정된 영역에 대응하는 인코드된 영역 데이터를, 화상 데이터 버퍼(116)에 전달한다.
화상 처리 회로(152)는, 예를 들면, 영역 절출부(122), 화상 처리 제어부(124), 및 인코드부(158)를 가짐에 의해, 본 실시 형태에 관한 송신 방법에 관한 처리를 행한다. 또한, 도 13에 도시하는 화상 처리 회로(152)의 기능 블록은, 화상 처리 회로(152)가 갖는 기능을 편의상 잘라 나눈 것이고, 화상 처리 회로(152)에서의 기능의 잘라 나누는 방식은, 도 13에 도시하는 예로 한정되지 않는다.
PH 생성 회로(154)는, 화상 처리 회로(152)(도 13의 예에서는, 화상 처리 제어부(124))로부터 전달되는 영역 정보에 의거하여, 영역 정보에 포함되는 정보 각각이 격납된 쇼트 패킷을 생성한다.
또한, PH 생성 회로(154)는, 도 10에 도시하는 PH 생성 회로(112)와 마찬가지로, 프레임 정보를 이용하여, 행마다 롱 패킷의 패킷 헤더를 생성한다.
합성 회로(156)는, ECC 생성 회로(110), PH 생성 회로(154), EBD 버퍼(114), 및 화상 데이터 버퍼(116) 각각으로부터 취득되는 데이터에 의거하여, "영역 정보가 격납되는 쇼트 패킷", 및 "행마다의 화상 데이터(통상 데이터 또는 영역 데이터)가 페이로드에 격납되는 롱 패킷"을, 전송하는 패킷으로서 생성한다.
송신 회로(120)는, 합성 회로(156)로부터 전달되는 패킷을, 행마다 데이터 버스(B1)를 통하여 송신한다.
예를 들면 도 5에 도시하는 영역(1), 영역(2), 영역(3), 및 영역(4)이 설정된 경우, 송신 회로(120)는, 도 12에 도시하는 바와 같이, 영역 정보에 포함되는 정보 각각을 쇼트 패킷에 격납하고, 영역 데이터를 롱 패킷의 페이로드에 격납하여, 행마다 송신시킨다.
또한, 영역이 설정되지 않는 경우, 즉, 화상 데이터 버퍼(116)로부터 통상 데이터가 출력되는 경우에는, 송신 회로(120)는, 도 10에 도시하는 송신 회로(120)와 마찬가지로, 각 행에 대응하는 데이터가 페이로드에 격납된 롱 패킷을, 행마다 송신한다. 또한, 이 경우에서도, 송신 회로(120)는, 도 10에 도시하는 송신 회로(120)와 마찬가지로, 부가 정보를 "EmbeddedData"로서 송신하는 것이 가능하다.
제2의 송신 방식에 대응하는 화상 센서(100)는, 예를 들면 도 13에 도시하는 하드웨어 구성을 갖는다. 또한, 제2의 송신 방식에 대응하는 화상 센서(100)의 하드웨어 구성이, 도 13에 도시하는 예로 한정되지 않음은, 말할 필요도 없다.
(2-3-2) 제2의 송신 방식에 대응하는 프로세서(200)(수신 장치)의 구성
도 14는, 본 실시 형태에 관한 송신 방법에 관한 제2의 송신 방식에 대응하는 프로세서(200)의 구성의 한 예를 도시하는 기능 블록도이다. 프로세서(200)는, 예를 들면, 패킷 분리부(250)와, 쇼트 패킷 해석부(252)와, 롱 패킷 분리부(254)와, 헤더 해석부(256)와, 페이로드 해석부(258)와, 화상 처리부(208)와, 송신부(210)를 갖는다.
패킷 분리부(250)는, 수신된 데이터로부터, 쇼트 패킷과 롱 패킷을 분리한다. 패킷 분리부(250)는, 예를 들면, 쇼트 패킷의 분할을 검출함에 의해, 쇼트 패킷과 롱 패킷을 분리한다.
쇼트 패킷 해석부(252)는, 패킷 분리부(250)로부터 전달된 쇼트 패킷으로부터, 영역 정보를 구성하는 각종 정보를 취출하고, 영역 정보를 화상 처리부(208)에 전달한다.
롱 패킷 분리부(254)는, 도 11에 도시하는 헤더 분리부(202)와 마찬가지로, 패킷 분리부(250)로부터 전달된 롱 패킷으로부터, 헤더 부분에 대응하는 헤더 데이터와, 페이로드 부분에 대응하는 페이로드 데이터를 분리한다.
헤더 해석부(256)는, 헤더 데이터가 나타내는 내용을 해석한다. 예를 들면, 헤더 해석부(256)는, 페이로드 데이터가 "Embedded Data"인지를 해석한다. 또한, 헤더 해석부(256)는, 페이로드 데이터의 위치를 특정하고, 특정한 위치를 롱 패킷 분리부(254)에 전달하여도 좋다.
페이로드 해석부(258)는, 헤더 해석부(256)에서의 해석 결과에 의거하여, 페이로드 데이터로부터, 부가 정보, 또는, 화상 데이터(통상 데이터 또는 영역 데이터. 이하, 도 14의 설명에서는 마찬가지라고 한다.)를 취출한다.
예를 들면, 헤더 해석부(256)에서의 페이로드 데이터가 "Embedded Data"라고 해석된 경우, 페이로드 해석부(258)는, 페이로드 데이터를 부가 정보라고 한다.
또한, 헤더 해석부(256)에서의 페이로드 데이터가 "Embedded Data"라고 해석되지 않는 경우, 페이로드 해석부(258)는, 페이로드 데이터를 화상 데이터라고 한다.
도 14에 도시하는 화상 처리부(208)는, 도 11에 도시하는 화상 처리부(208)와 마찬가지로, 부가 정보, 영역 정보, 및 화상 데이터에 의거하여, 행마다의 화상 데이터를 처리하고, 영역에 대응하는 화상을 나타내는 데이터, 또는, 화상 전체를 나타내는 데이터를 얻는다.
또한, 도 14에 도시하는 화상 처리부(208)는, 도 11에 도시하는 화상 처리부(208)와 마찬가지로, 메모리(300) 등의 기록 매체에의 화상 데이터의 기록 제어에 관한 처리나, 표시 디바이스(400)의 표시 화면에의 화상의 표시 제어에 관한 처리, 화상에 대한 영역의 설정에 관한 처리 등, 다양한 처리를 행하는 것이 가능하다.
도 14에 도시하는 송신부(210)는, 도 11에 도시하는 송신부(210)와 마찬가지로, 각종 데이터(예를 들면, 화상 데이터, 제어 정보 등)를, 제어 버스(B2)나 각종 신호선 등을 통하여, 외부 장치에 송신한다.
프로세서(200)는, 예를 들면, 패킷 분리부(250), 쇼트 패킷 해석부(252), 롱 패킷 분리부(254), 헤더 해석부(256), 페이로드 해석부(258), 화상 처리부(208), 및 송신부(210)를 가짐에 의해, 화상 센서(100)로부터 수신한 데이터에 의거하여, 영역에 대응하는 화상을 나타내는 데이터, 또는, 화상 전체를 나타내는 데이터를 얻을 수 있다. 또한, 도 14에 도시하는 프로세서(200)의 기능 블록은, 프로세서(200)가 갖는 기능을 편의상 잘라 나눈 것이고, 프로세서(200)에서의 기능의 잘라 나누는 방식은, 도 14에 도시하는 예로 한정되지 않는다. 또한, 도 11에 도시하는 프로세서(200)와 마찬가지로, 외부 장치에 각종 데이터를 송신하는 기능을 갖지 않는 경우, 프로세서(200)는, 송신부(210)를 갖지 않아도 좋다.
(3) 제3의 송신 방식
(3-1) 제3의 송신 방식에 관한 처리
화상 센서(100)는, 상기 (2)에 나타내는 제2의 송신 방식과 마찬가지로, 영역 데이터를 제1의 패킷의 페이로드에 격납하고, 영역 정보에 포함되는 정보를, 제1의 패킷과 다른 제2의 패킷에 격납한다. 그리고, 화상 센서(100)는, 제1의 패킷 및 제2의 패킷을, 행마다 송신시킨다.
제3의 송신 방식에 관한 제1의 패킷으로서는, MIPI의 롱 패킷을 들 수 있고, 제3의 송신 방식에 관한 제2의 패킷으로서는, 패킷 헤더를 들 수 있다. 즉, 제2의 송신 방식에서는, 예를 들면 MIPI의 쇼트 패킷으로 영역 정보를 송신함에 대해, 제3의 송신 방식에서는, 패킷 헤더로 영역 정보를 송신한다.
여기서, 도 2, 도 3에 도시하는 바와 같이, 쇼트 패킷과 패킷 헤더는, 같은 구조를 갖는다. 따라서, 제3의 송신 방식을 이용한 화상 센서(100)는, 상기 (2)에 나타내는 제2의 송신 방식을 이용한 화상 센서(100)와 마찬가지로, 영역 정보와 영역 데이터를 행마다 송신할 수 있다.
또한, 제3의 송신 방식에 관한 제2의 패킷은, 도 3에 도시하는 패킷 헤더와 같은 구조를 갖는 패킷 헤더로 한정되지 않는다. 예를 들면, 제3의 송신 방식에 관한 제2의 패킷은, 도 2에 도시하는 "Data Field"가 확장된 구조를 갖는 패킷 헤더(예를 들면, "Data Field"를 2byte로부터 3byte 이상으로 확장한 패킷 헤더)라도 좋다. 제3의 송신 방식에 관한 제2의 패킷이, 상기 확장된 구조를 갖는 패킷 헤더인 경우, 영역 정보에 포함되는 정보는, 하나의 제2의 패킷에 격납될 수 있다.
또한, 제3의 송신 방식에서, 영역 정보에 포함되는 정보가 격납되는 영역은, 제1의 패킷의 일부라도 좋다. 즉, 제3의 송신 방식에서는, 상기 제1의 패킷과 상기 제2의 패킷이 하나의 패킷이라고 파악하는 것도 가능하다.
(3-2) 제3의 송신 방식의 특징, 이점
본 실시 형태에 관한 송신 방법에 관한 제3의 송신 방식은, 상기 (2)에 나타내는 제2의 송신 방식과 같은 특징을 갖는다.
또한, 제3의 송신 방식은, 예를 들면 하기에 나타내는 이점을 갖는다.
- 전송 효율이 높다
- 영역 정보의 오류 정정이 가능하다
- 임의의 영역(ROI)의 형상을 전송 가능하다
(3-3) 제3의 송신 방식에 관한 구성례
제3의 송신 방식에 대응하는 화상 센서(100)는, 예를 들면 도 13에 도시하는 상기 (2)에 나타내는 제2의 송신 방식에 대응하는 화상 센서(100)와 같은 구성(변형례도 포함한다.)을 취한다. 또한, 제3의 송신 방식에 대응하는 프로세서(200)는, 예를 들면 도 14에 도시하는 상기 (2)에 나타내는 제2의 송신 방식에 대응하는 프로세서(200)와 같은 구성(변형례도 포함한다.)을 취한다.
<4> 본 실시 형태에 관한 송신 방법이 이용됨에 의해 이루어지는 효과의 한 예
본 실시 형태에 관한 송신 방법이 이용됨에 의해, 예를 들면 하기에 나타내는 효과가 이루어진다. 또한, 본 실시 형태에 관한 송신 방법이 이용됨에 의해 이루어지는 효과가, 하기에 나타내는 예로 한정되지 않음은, 말할 필요도 없다.
- 화상에 대해 설정되는 영역(ROI)의 데이터를 전송할 때에, 영역마다 VC를 나눌 필요는 없다.
- 화상에 대해 설정되는 영역(ROI)의 데이터를 전송할 때에, 동일한 행에 포함되는 영역 각각의 데이터를, 통합하여 송신할 수 있다.
- 영역 정보에 포함되는 정보 중, 변화점에 대응하는 정보만을 송신하는 것이 가능하고, 영역 정보의 데이터량을 보다 작게 할 수 있다(즉, 최소한의 영역 정보의 전송이 가능하다).
- 사각형, 타원, 도넛 형상 등의 임의의 형상의 영역에 대응할 수 있다
- 도 5의 영역(3), 영역(4)과 같이 설정되어 있는 영역이 겹쳐져 있는 경우라도, 영역의 데이터를 전송할 수 있다.
- 제1의 송신 방식이 이용되는 경우, 영역 정보는 패킷의 페이로드에 격납하여 송신되기 때문에, 영역 정보의 송신에 의해 LPS의 기간이 증가하는 일은 없다. 따라서, 제1의 송신 방식이 이용되는 경우, 영역 정보가 전송 효율에 영향을 미칠 가능성은 낮다.
(본 실시 형태에 관한 프로그램)
컴퓨터를, 본 실시 형태에 관한 송신 장치로서 기능시키기 위한 프로그램(예를 들면, 본 실시 형태에 관한 송신 방법에 관한 처리를, 컴퓨터에 실행시키는 프로그램)이, 컴퓨터에서 프로세서 등에 의해 실행됨에 의해, 화상에 대해 설정되는 임의의 형상의 영역의 데이터를 송신할 수 있다.
또한, 컴퓨터를, 본 실시 형태에 관한 송신 장치로서 기능시키기 위한 프로그램이, 컴퓨터에서 프로세서 등에 의해 실행됨에 의해, 상술한 본 실시 형태에 관한 송신 방법이 이용됨에 의해 이루어지는 효과를, 이룰 수 있다.
이상, 첨부 도면을 참조하면서 본 개시의 알맞은 실시 형태에 관해 상세히 설명하였지만, 본 개시의 기술적 범위는 이러한 예로 한정되지 않는다. 본 개시의 기술 분야에서의 통상의 지식을 갖는 자라면, 특허청구의 범위에 기재된 기술적 사상의 범주 내에서, 각종의 변경례 또는 수정례에 상도할 수 있음은 분명하고, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것으로 이해된다.
예를 들면, 상기에서는, 컴퓨터를, 본 실시 형태에 관한 송신 장치로서 기능시키기 위한 프로그램(컴퓨터 프로그램)이 제공되는 것을 나타냈지만, 본 실시 형태는, 또한, 상기 프로그램을 기억시킨 기록 매체도 아울러서 제공할 수 있다.
상술한 구성은, 본 실시 형태의 한 예를 나타내는 것이고, 당연히, 본 개시의 기술적 범위에 속하는 것이다.
또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것이고 한정적이 아니다. 즉, 본 개시에 관한 기술은, 상기한 효과와 함께, 또는 상기한 효과에 대신하여, 본 명세서의 기재로부터 당업자에게는 분명한 다른 효과를 이룰 수 있다.
또한, 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.
(1)
화상에 대해 설정되는 영역에 대응하는 영역 정보를 상기 화상에서의 행마다 설정하고, 설정된 상기 영역 정보와 상기 영역에 대응하는 영역 데이터를, 행마다 송신시키는 화상 처리부를 구비하고,
상기 영역 정보에는, 행의 위치를 나타내는 정보, 및 행에 포함되는 상기 영역의 열의 위치를 나타내는 정보가, 포함되는, 송신 장치.
(2)
상기 영역 정보에는, 또한, 행에 포함되는 상기 영역의 식별 정보, 및 행에 포함되는 상기 영역의 크기를 나타내는 정보가, 포함되는, (1)에 기재된 송신 장치.
(3)
상기 화상 처리부는, 상기 영역 정보에 포함되는 정보를, 상기 영역마다 통합하여 상기 영역 정보로 설정하는, (1) 또는 (2)에 기재된 송신 장치.
(4)
상기 화상 처리부는, 하나의 행에 동일한 상기 영역이 복수 존재하는 경우, 존재하는 수만큼, 상기 영역 정보를 설정하는, (3)에 기재된 송신 장치.
(5)
상기 화상 처리부는, 하나 전에 송신시키는 행의 상기 영역 정보에 포함되는 정보로부터 변화하지 않는 정보는, 상기 영역 정보로 설정하지 않는, (1) 내지 (4)의 어느 하나에 기재된 송신 장치.
(6)
상기 화상 처리부는,
상기 영역의 열의 위치를 나타내는 정보를 상기 영역 정보로 설정할 때에는, 상기 영역 정보에 상기 영역의 식별 정보를 설정하고,
상기 영역의 크기를 나타내는 정보를 상기 영역 정보로 설정할 때에는, 상기 영역 정보에 상기 영역의 식별 정보를 설정하는, (5)에 기재된 송신 장치.
(7)
상기 화상 처리부는,
소정의 순서에 따라, 행마다의 상기 영역 정보와 상기 영역 데이터를 송신시키고,
상기 영역 정보와 상기 영역 데이터를 송신시키는 행이, 상기 소정의 순서에 따른 행인 경우에는, 상기 영역 정보에 상기 행의 위치를 나타내는 정보를 설정하지 않는, (5) 또는 (6)에 기재된 송신 장치.
(8)
상기 화상 처리부는, 상기 영역 정보와 상기 영역 데이터를, 패킷의 페이로드에 격납하여 송신시키는, (1) 내지 (7)의 어느 하나에 기재된 송신 장치.
(9)
상기 영역 정보는, 상기 페이로드의 선두 부분에 격납되는, (8)에 기재된 송신 장치.
(10)
상기 화상 처리부는, 또한, 상기 영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 상기 영역 정보로부터 변화하고 있는지의 여부를 나타내는 변화 정보를, 행마다 송신시키는, (8) 또는 (9)에 기재된 송신 장치.
(11)
상기 영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 상기 영역 정보로부터 변화하지 않는 경우, 상기 화상 처리부는, 상기 영역 정보를 송신시키지 않는, (10)에 기재된 송신 장치.
(12)
상기 화상 처리부는, 또한, 상기 영역의 데이터량을 나타내는 정보, 상기 영역의 크기를 나타내는 정보, 및 상기 영역의 우선도를 나타내는 정보 중의 1 또는 2 이상을, 송신시키는, (8) 내지 (11)의 어느 하나에 기재된 송신 장치.
(13)
상기 패킷은, MIPI의 롱 패킷인, (8) 내지 (12)의 어느 하나에 기재된 송신 장치.
(14)
상기 화상 처리부는,
상기 영역 데이터를 제1의 패킷의 페이로드에 격납하고,
상기 영역 정보에 포함되는 정보 각각을, 상기 제1의 패킷과 다른 제2의 패킷에 각각 격납하고,
상기 제1의 패킷 및 상기 제2의 패킷을, 행마다 송신시키는, (1) 내지 (7)의 어느 하나에 기재된 송신 장치.
(15)
상기 제1의 패킷은, MIPI의 롱 패킷이고,
상기 제2의 패킷은, MIPI의 쇼트 패킷인, (13)에 기재된 송신 장치.
100 : 화상 센서
102 : 화상 센서 디바이스
104, 150 : IC 칩
106, 152 : 화상 처리 회로
108 : LINK 제어 회로
110 : ECC 생성 회로
112, 154 : PH 생성 회로
114 : EBD 버퍼
116 : 화상 데이터 버퍼
118, 156 : 합성 회로
120 : 송신 회로
122 : 영역 절출부
124 : 화상 처리 제어부
126, 158 : 인코드부
200 : 프로세서
202 : 헤더 분리부
204 : 헤더 해석부
206 : 페이로드 분리부
208 : 화상 처리부
210 : 송신부
212 : 디코드부
214 : 화상 생성부
250 : 패킷 분리부
252 : 쇼트 패킷 해석부
254 : 롱 패킷 분리부
256 : 헤더 해석부
258 : 페이로드 해석부
300 : 메모리
400 : 표시 디바이스
1000 : 통신 시스템
B1 : 데이터 버스
B2 : 제어 버스

Claims (20)

  1. ROI(Region-Of-Interest) 모드 및 논-ROI(non-Region-Of-Interest) 모드를 갖는 화상 처리 회로를 구비하고,
    상기 화상 처리 회로는, 상기 ROI 모드에서, 화상의 제1의 프레임 데이터를 전송하도록 구성되고, 상기 제1의 프레임 데이터는 Embedded Data, 상기 화상의 제1의 복수의 화상 라인의 각각의 화상 라인에 대한 ROI 정보 및 상기 화상의 제2의 복수의 화상 라인의 각각의 화상 라인에 대한 ROI 데이터를 포함하고, 상기 제2의 복수의 화상 라인은 상기 제1의 복수의 화상 라인을 포함하고,
    상기 화상 처리 회로는, 상기 논-ROI 모드에서, 상기 화상의 제2의 프레임 데이터를 전송하도록 구성되고, 상기 제2의 프레임 데이터는 상기 화상의 제3의 복수의 화상 라인의 각각의 화상 라인에 대한 모든 페이로드 데이터를 포함하고, 상기 제3의 복수의 화상 라인은 상기 제2의 복수의 화상 라인을 포함하고, 상기 제2의 프레임 데이터는 상기 ROI 정보 및 상기 ROI 데이터를 포함하지 않으며,
    상기 Embedded Data는,
    상기 화상에서 하나 이상의 ROI의 데이터량을 나타내는 정보,
    상기 화상에서 상기 하나 이상의 ROI의 크기를 나타내는 정보, 또는
    상기 화상에서 상기 하나 이상의 ROI의 우선도를 나타내는 정보 중 적어도 하나를 더 포함하는 것을 특징으로 하는 송신 장치.
  2. 제1항에 있어서,
    상기 화상 처리 회로는, 상기 ROI 모드에서,
    상기 제1의 복수의 화상 라인의 각각의 화상 라인에 대한 상기 ROI 정보가 상기 Embedded Data로 내장될 수 있는지를 판정하고,
    상기 ROI 정보가 상기 Embedded Data로 내장될 수 있다는 판정에 응답하여, 상기 제1의 복수의 화상 라인의 각각의 화상 라인에 대한 상기 ROI 정보를 상기 Embedded Data에 삽입하고,
    상기 Embedded Data에 상기 ROI 정보를 삽입하는 것에 응답하여, 상기 제1의 프레임 데이터 대신에 상기 화상의 제3의 프레임 데이터를 송신하고, 상기 제3의 프레임 데이터는, 상기 Embedded Data 및 상기 제2의 복수의 화상 라인의 각각의 화상 라인에 대한 상기 ROI 데이터를 포함하도록 더 구성되는 것을 특징으로 하는 송신 장치.
  3. 제1항에 있어서,
    상기 화상 처리 회로는, 상기 ROI 모드에서,
    상기 화상에서의 하나 이상의 ROI의 위치 정보를 수신하고,
    상기 위치 정보에 근거하여 상기 제2의 복수의 화상 라인을 판정하도록 더 구성되는 것을 특징으로 하는 송신 장치.
  4. 제3항에 있어서,
    상기 화상 처리 회로는, 상기 ROI 모드에서,
    상기 위치 정보에 근거하여 상기 화상에서의 상기 하나 이상의 ROI의 하나 이상의 변화점을 판정하고,
    상기 하나 이상의 변화점에 근거하여 상기 제1의 복수의 화상 라인을 판정하도록 더 구성되는 것을 특징으로 하는 송신 장치.
  5. 제4항에 있어서,
    상기 제1의 복수의 화상 라인의 각각의 화상 라인에 대한 상기 ROI 정보는, 상기 하나 이상의 변화점을 나타내는 변화 정보를 더 포함하는 것을 특징으로 하는 송신 장치.
  6. 제1항에 있어서,
    상기 제1의 복수의 화상 라인의 각각의 화상 라인에 대한 상기 ROI 정보는, 각각의 화상 라인의 위치 및 각각의 화상 라인에 포함된 하나 이상의 ROI의 열의 위치를 나타내는 정보인 것을 특징으로 하는 송신 장치.
  7. 제6항에 있어서,
    상기 ROI 정보는, 각각의 화상 라인에 포함된 상기 하나 이상의 ROI의 식별 정보 및 각각의 화상 라인에 포함된 상기 하나 이상의 ROI의 크기를 나타내는 정보를 더 포함하는 것을 특징으로 하는 송신 장치.
  8. 제6항에 있어서,
    각각의 화상 라인에 포함된 상기 하나 이상의 ROI는 n개이고(n은 0보다 큰 양의 정수), 상기 화상 처리 회로는 상기 ROI 정보에 다수의 영역 정보를 포함하도록 더 구성되고, 상기 영역 정보의 수는 n과 동일한 것을 특징으로 하는 송신 장치.
  9. 제1항에 있어서,
    상기 제2의 복수의 화상 라인은 소정의 순서에 따라 송신되고, 상기 제1의 복수의 화상 라인의 각각의 화상 라인에 대한 상기 ROI 정보는 각각의 화상 라인의 위치를 나타내는 정보를 포함하지 않는 것을 특징으로 하는 송신 장치.
  10. 제1항에 있어서,
    상기 제1의 프레임 데이터는 복수의 패킷을 구비하고, 상기 Embedded Data는 상기 복수의 패킷의 제1의 위치의 하나 이상의 페이로드에 송신되고, 상기 ROI 정보 및 상기 제1의 복수의 화상 라인의 각각의 화상 라인에 대한 상기 ROI 데이터는 상기 복수의 패킷의 제2의 위치의 페이로드에 송신되고, 상기 복수의 패킷의 상기 제2의 위치는 상기 복수의 패킷의 상기 제1의 위치를 포함하지 않는 것을 특징으로 하는 송신 장치.
  11. 제10항에 있어서,
    상기 ROI 정보는 상기 페이로드의 선두 부분에 저장되는 것을 특징으로 하는 송신 장치.
  12. 삭제
  13. ROI(Region-Of-Interest) 모드 및 논-ROI(non-Region-Of-Interest) 모드를 갖는 화상 처리 회로를 구비하고,
    상기 화상 처리 회로는, 상기 ROI 모드에서, 화상의 제1의 프레임 데이터를 전송하도록 구성되고, 상기 제1의 프레임 데이터는 Embedded Data, 상기 화상의 제1의 복수의 화상 라인의 각각의 화상 라인에 대한 ROI 정보 및 상기 화상의 제2의 복수의 화상 라인의 각각의 화상 라인에 대한 ROI 데이터를 포함하고, 상기 제2의 복수의 화상 라인은 상기 제1의 복수의 화상 라인을 포함하고,
    상기 화상 처리 회로는, 상기 논-ROI 모드에서, 상기 화상의 제2의 프레임 데이터를 전송하도록 구성되고, 상기 제2의 프레임 데이터는 상기 화상의 제3의 복수의 화상 라인의 각각의 화상 라인에 대한 모든 페이로드 데이터를 포함하고, 상기 제3의 복수의 화상 라인은 상기 제2의 복수의 화상 라인을 포함하고, 상기 제2의 프레임 데이터는 상기 ROI 정보 및 상기 ROI 데이터를 포함하지 않으며,
    상기 Embedded Data는,
    상기 화상에서 하나 이상의 ROI의 식별 정보,
    상기 화상에서 상기 하나 이상의 ROI의 좌측 상단 좌표를 나타내는 정보,
    상기 화상에서 상기 하나 이상의 ROI의 높이를 나타내는 정보,
    상기 화상에서 상기 하나 이상의 ROI의 폭을 나타내는 정보,
    아날로그-디지털 변환기의 해상도를 나타내는 아날로그-디지털 비트, 또는
    센싱 정보 중 적어도 하나를 더 포함하는 것을 특징으로 하는 송신 장치.
  14. 제13항에 있어서,
    상기 센싱 정보는 게인 설정의 정보, 및 노광 시간의 정보 중 적어도 하나를 포함하고, 상기 Embedded Data는 상기 센싱 정보에 할당된 가변의 바이트수 갖는 것을 특징으로 하는 송신 장치.
  15. 전자 프로세서를 구비하고,
    상기 전자 프로세서는,
    화상의 제1의 프레임 데이터를 수신하고,
    상기 화상의 제2의 프레임 데이터를 수신하고,
    상기 제1의 프레임 데이터 또는 상기 제2의 프레임 데이터 중 하나에 근거한 표시 화상을 생성하도록 구성되고,
    상기 제1의 프레임 데이터는 Embedded Data, 상기 화상의 제1의 복수의 화상 라인의 각각의 화상 라인에 대한 ROI 정보, 상기 화상의 제2의 복수의 화상 라인의 각각의 화상 라인에 대한 ROI 데이터를 포함하고, 상기 제2의 복수의 화상 라인은 상기 제1의 복수의 화상 라인을 포함하고,
    상기 제2의 프레임 데이터는 상기 화상의 제3의 복수의 화상 라인의 각각의 화상 라인에 대한 모든 페이로드 데이터를 포함하고, 상기 제2의 프레임 데이터는 상기 ROI 정보 및 상기 ROI 데이터를 포함하지 않으며,
    상기 Embedded Data는,
    상기 화상에서 하나 이상의 ROI의 데이터량을 나타내는 정보,
    상기 화상에서 상기 하나 이상의 ROI의 크기를 나타내는 정보, 또는
    상기 화상에서 상기 하나 이상의 ROI의 우선도를 나타내는 정보 중 적어도 하나를 더 포함하는 것을 것을 특징으로 하는 수신 장치.
  16. 제15항에 있어서,
    상기 전자 프로세서는,
    상기 화상의 제3의 프레임 데이터를 수신하고,
    상기 제3의 프레임 데이터에 근거한 상기 표시 화상을 생성하도록 더 구성되고,
    상기 제3의 프레임 데이터는 상기 Embedded Data 및 상기 화상의 상기 제2의 복수의 화상 라인의 각각의 화상 라인에 대한 상기 ROI 데이터를 포함하고, 상기 Embedded Data는 상기 화상의 상기 제1의 복수의 화상 라인의 각각의 화상 라인에 대한 상기 ROI 정보를 포함하는 것을 특징으로 하는 수신 장치.
  17. 송신 장치와,
    전자 프로세서를 구비하고,
    상기 송신 장치는,
    ROI(Region-Of-Interest) 모드 및 논-ROI(non-Region-Of-Interest) 모드를 갖는 화상 처리 회로를 포함하고,
    상기 화상 처리 회로는, 상기 ROI 모드에서, 화상의 제1의 프레임 데이터를 전송하도록 구성되고, 상기 제1의 프레임 데이터는 Embedded Data, 상기 화상의 제1의 복수의 화상 라인의 각각의 화상 라인에 대한 ROI 정보 및 상기 화상의 제2의 복수의 화상 라인의 각각의 화상 라인에 대한 ROI 데이터를 포함하고, 상기 제2의 복수의 화상 라인은 상기 제1의 복수의 화상 라인을 포함하고,
    상기 화상 처리 회로는, 상기 논-ROI 모드에서, 상기 화상의 제2의 프레임 데이터를 전송하도록 구성되고, 상기 제2의 프레임 데이터는 상기 화상의 제3의 복수의 화상 라인의 각각의 화상 라인에 대한 모든 페이로드 데이터를 포함하고, 상기 제3의 복수의 화상 라인은 상기 제2의 복수의 화상 라인을 포함하고, 상기 제2의 프레임 데이터는 상기 ROI 정보 및 상기 ROI 데이터를 포함하지 않고,
    상기 Embedded Data는,
    상기 화상에서 하나 이상의 ROI의 데이터량을 나타내는 정보,
    상기 화상에서 상기 하나 이상의 ROI의 크기를 나타내는 정보, 또는
    상기 화상에서 상기 하나 이상의 ROI의 우선도를 나타내는 정보 중 적어도 하나를 더 포함하며,
    상기 전자 프로세서는,
    상기 제1의 프레임 데이터를 수신하고,
    상기 제2의 프레임 데이터를 수신하고,
    상기 제1의 프레임 데이터 또는 상기 제2의 프레임 데이터 중 하나에 근거한 표시 화상을 생성하도록 구성되는 것을 특징으로 하는 시스템.
  18. 제17항에 있어서,
    상기 화상 처리 회로는, 상기 ROI 모드에서,
    상기 제1의 복수의 화상 라인의 각각의 화상 라인에 대한 상기 ROI 정보가 상기 Embedded Data로 내장될 수 있는지를 판정하고,
    상기 ROI 정보가 상기 Embedded Data로 내장될 수 있다는 판정에 응답하여, 상기 제1의 복수의 화상 라인의 각각의 화상 라인에 대한 상기 ROI 정보를 상기 Embedded Data에 삽입하고,
    상기 Embedded Data에 상기 ROI 정보를 삽입하는 것에 응답하여, 상기 제1의 프레임 데이터 대신에 상기 화상의 제3의 프레임 데이터를 송신하고, 상기 제3의 프레임 데이터는, 상기 Embedded Data 및 상기 제2의 복수의 화상 라인의 각각의 화상 라인에 대한 상기 ROI 데이터를 포함하도록 더 구성되고,
    상기 전자 프로세서는,
    상기 제3의 프레임 데이터를 수신하고,
    상기 제3의 프레임 데이터에 근거한 상기 표시 화상을 생성하도록 더 구성되는 것을 특징으로 하는 시스템.
  19. 화상 처리 회로에 의해, ROI(Region-Of-Interest) 모드 또는 논-ROI(non-Region-Of-Interest) 모드 중 하나를 나타내는 모드 선택 입력을 수신하고,
    상기 ROI 모드를 나타내는 상기 모드 선택 입력에 응답하여, 상기 화상 처리 회로에 의해, Embedded Data를 포함하는 화상의 제1의 프레임 데이터, 상기 화상의 제1의 복수의 화상 라인의 각각의 화상 라인에 대한 ROI 정보, 및 상기 화상의 제2의 복수의 화상 라인의 각각의 화상 라인에 대한 ROI 데이터를 송신하고, 상기 제2의 복수의 화상 라인은 상기 제1의 복수의 화상 라인을 포함하고,
    상기 논-ROI 모드를 나타내는 상기 모드 선택 입력에 응답하여, 상기 화상 처리 회로에 의해, 상기 화상의 제2의 프레임 데이터를 송신하고, 상기 제2의 프레임 데이터는 상기 화상의 제3의 복수의 화상 라인의 각각의 화상 라인에 대한 모든 페이로드 데이터를 포함하고, 상기 제3의 복수의 화상 라인은 상기 제2의 복수의 화상 라인을 포함하고, 상기 제2의 프레임 데이터는 상기 ROI 정보 및 상기 ROI 데이터를 포함하지 않으며,
    상기 Embedded Data는,
    상기 화상에서 하나 이상의 ROI의 데이터량을 나타내는 정보,
    상기 화상에서 상기 하나 이상의 ROI의 크기를 나타내는 정보, 또는
    상기 화상에서 상기 하나 이상의 ROI의 우선도를 나타내는 정보 중 적어도 하나를 더 포함하는 것을 것을 특징으로 하는 방법.
  20. 제19항에 있어서,
    상기 화상 처리 회로에 의해, 상기 제1의 복수의 화상 라인의 각각의 화상 라인에 대한 상기 ROI 정보가 상기 Embedded Data로 내장될 수 있는지를 판정하고,
    상기 ROI 정보가 상기 Embedded Data로 내장될 수 있다는 판정에 응답하여, 상기 화상 처리 회로에 의해, 상기 제1의 복수의 화상 라인의 각각의 화상 라인에 대한 상기 ROI 정보를 상기 Embedded Data에 삽입하고,
    상기 ROI 모드를 나타내는 상기 모드 선택 입력 및 상기 Embedded Data에 상기 ROI 정보를 삽입하는 것에 응답하여, 상기 화상 처리 회로에 의해, 상기 제1의 프레임 데이터 대신에 상기 화상의 제3의 프레임 데이터를 송신하고, 상기 제3의 프레임 데이터는, 상기 Embedded Data 및 상기 제2의 복수의 화상 라인의 각각의 화상 라인에 대한 상기 ROI 데이터를 포함하는 것을 특징으로 하는 방법.
KR1020207011960A 2017-11-10 2018-10-15 관심 영역 모드 선택을 갖는 송신 장치 및 방법 KR102617485B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2017-217484 2017-11-10
JP2017217484A JP7007160B2 (ja) 2017-11-10 2017-11-10 送信装置
PCT/JP2018/038265 WO2019093072A1 (en) 2017-11-10 2018-10-15 Transmission device and method with region of interest mode selection

Publications (2)

Publication Number Publication Date
KR20200087134A KR20200087134A (ko) 2020-07-20
KR102617485B1 true KR102617485B1 (ko) 2023-12-27

Family

ID=64049633

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207011960A KR102617485B1 (ko) 2017-11-10 2018-10-15 관심 영역 모드 선택을 갖는 송신 장치 및 방법

Country Status (8)

Country Link
US (1) US11074023B2 (ko)
EP (1) EP3707911A1 (ko)
JP (1) JP7007160B2 (ko)
KR (1) KR102617485B1 (ko)
CN (2) CN111295887B (ko)
SG (1) SG11202002803UA (ko)
TW (1) TWI783075B (ko)
WO (1) WO2019093072A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220031556A (ko) 2019-06-28 2022-03-11 소니 세미컨덕터 솔루션즈 가부시키가이샤 송신 장치, 수신 장치 및 전송 시스템
US12041344B2 (en) * 2019-06-28 2024-07-16 Sony Semiconductor Solutions Corporation Transmitting apparatus, receiving apparatus, and transmission system
TW202107892A (zh) * 2019-07-31 2021-02-16 日商索尼半導體解決方案公司 發送裝置、接收裝置及通信系統
KR20210100853A (ko) * 2020-02-07 2021-08-18 삼성전자주식회사 이미지를 저장하는 전자 장치 및 방법
JPWO2021192764A1 (ko) * 2020-03-25 2021-09-30
KR20240090196A (ko) * 2021-10-08 2024-06-21 소니 세미컨덕터 솔루션즈 가부시키가이샤 화상 센서, 데이터 처리 장치, 및 화상 센서 시스템
WO2024209994A1 (ja) * 2023-04-07 2024-10-10 ソニーセミコンダクタソリューションズ株式会社 画像センサ、データ処理装置、および画像センサシステム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006270400A (ja) * 2005-03-23 2006-10-05 Venture Creator:Kk 画像データの画像処理方法、画像処理装置、プログラム及び記録媒体
US20100253848A1 (en) * 2009-04-02 2010-10-07 Texas Instruments Incorporated Displaying image frames in combination with a subpicture frame
US20150049097A1 (en) * 2013-08-13 2015-02-19 Mediatek Inc Data processing apparatus for transmitting/receiving randomly accessible compressed pixel data groups over display interface and related data processing method

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3349490B2 (ja) * 2000-02-14 2002-11-25 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像表示方法、画像表示システム、ホスト装置、画像表示装置、およびディスプレイ用インターフェイス
US7128266B2 (en) * 2003-11-13 2006-10-31 Metrologic Instruments. Inc. Hand-supportable digital imaging-based bar code symbol reader supporting narrow-area and wide-area modes of illumination and image capture
CN1371043A (zh) * 2002-02-04 2002-09-25 钟林 数码操作系统
US20090067626A1 (en) * 2005-11-04 2009-03-12 Emittall Surveillance S.A. Region-based transform domain video scrambling
KR100739785B1 (ko) * 2006-01-09 2007-07-13 삼성전자주식회사 관심 영역 기반 영상 부호화, 복호화 방법 및 장치
JP4969985B2 (ja) * 2006-10-17 2012-07-04 株式会社東芝 超音波診断装置、及び超音波診断装置の制御プログラム
JP4777310B2 (ja) * 2007-07-31 2011-09-21 シャープ株式会社 検査装置、検査方法、検査システム、カラーフィルタの製造方法、検査装置制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2010033642A2 (en) * 2008-09-16 2010-03-25 Realnetworks, Inc. Systems and methods for video/multimedia rendering, composition, and user-interactivity
CN101692231B (zh) * 2009-01-14 2012-11-07 中国科学院地理科学与资源研究所 一种适合空间查询的遥感影像分块排序存储方法
US20110235706A1 (en) * 2010-03-25 2011-09-29 Texas Instruments Incorporated Region of interest (roi) video encoding
US20110301447A1 (en) * 2010-06-07 2011-12-08 Sti Medical Systems, Llc Versatile video interpretation, visualization, and management system
JP2011259332A (ja) * 2010-06-11 2011-12-22 Sony Corp 画像処理装置および方法
JP2012209831A (ja) 2011-03-30 2012-10-25 Panasonic Corp 画像データ制御装置
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP5700703B2 (ja) 2012-08-20 2015-04-15 日本電信電話株式会社 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法
CN103903006A (zh) * 2014-03-05 2014-07-02 中国科学院合肥物质科学研究院 一种基于Android平台的农作物害虫识别方法及系统
CN105100577B (zh) * 2014-04-21 2019-03-26 浙江大华技术股份有限公司 一种图像处理方法及装置
JP6530658B2 (ja) * 2014-08-11 2019-06-12 キヤノン株式会社 撮像装置およびその制御方法、プログラムならびに記録媒体
JP6558976B2 (ja) * 2014-09-02 2019-08-14 キヤノン株式会社 撮像装置、その制御方法及びプログラム並びに撮像素子
KR102250493B1 (ko) * 2014-09-03 2021-05-12 삼성디스플레이 주식회사 디스플레이 구동 집적 회로, 이를 포함하는 디스플레이 모듈 및 디스플레이 시스템
CN104463781A (zh) * 2014-12-25 2015-03-25 成都晨电智能科技有限公司 控制pov显示装置显示图像的方法及显示动画的方法
JP6604019B2 (ja) 2015-04-14 2019-11-13 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
US9485381B1 (en) 2015-05-06 2016-11-01 Xerox Corporation Scanner interface and protocol
CN206379017U (zh) * 2016-12-05 2017-08-04 贵州师范学院 一种基于wifi的智能教鞭
CN106846345B (zh) * 2017-01-04 2020-03-27 努比亚技术有限公司 一种实现交互式图像分割的方法、装置及终端
CN107168668A (zh) * 2017-04-28 2017-09-15 北京七鑫易维信息技术有限公司 图像数据传输方法、装置以及存储介质、处理器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006270400A (ja) * 2005-03-23 2006-10-05 Venture Creator:Kk 画像データの画像処理方法、画像処理装置、プログラム及び記録媒体
US20100253848A1 (en) * 2009-04-02 2010-10-07 Texas Instruments Incorporated Displaying image frames in combination with a subpicture frame
US20150049097A1 (en) * 2013-08-13 2015-02-19 Mediatek Inc Data processing apparatus for transmitting/receiving randomly accessible compressed pixel data groups over display interface and related data processing method

Also Published As

Publication number Publication date
TW201924325A (zh) 2019-06-16
EP3707911A1 (en) 2020-09-16
US20200333993A1 (en) 2020-10-22
CN116233519A (zh) 2023-06-06
SG11202002803UA (en) 2020-04-29
KR20200087134A (ko) 2020-07-20
JP2019091967A (ja) 2019-06-13
CN111295887A (zh) 2020-06-16
TWI783075B (zh) 2022-11-11
US11074023B2 (en) 2021-07-27
JP7007160B2 (ja) 2022-01-24
CN111295887B (zh) 2023-04-04
WO2019093072A1 (en) 2019-05-16

Similar Documents

Publication Publication Date Title
KR102617485B1 (ko) 관심 영역 모드 선택을 갖는 송신 장치 및 방법
KR102641559B1 (ko) 송신 장치
JP7357620B2 (ja) 画像処理装置、および画像処理システム
JP7152475B2 (ja) 送信装置、受信装置、及び通信システム
JP7414733B2 (ja) 受信装置および送信装置
TWI827725B (zh) 圖像處理裝置及圖像處理方法
TWI856991B (zh) 接收裝置及傳送裝置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant