Научные цифровые камеры. Устранения ограничений при использовании научной КМОП камеры (sCMOS)
Представителями научных цифровых камер являются:
- Популярная ПЗС камера (CCD);
- ПЗС камера с электронным умножителем (EMCCD);
- Научная КМОП камера (sCMOS);
- ПЗС камера с ЭОП (ICDD).
В первых трех видах камер используется кремниевый диодный фотодатчик (пиксель), соединенный с участком накопления заряда, который, в свою очередь, подключен к усилителю, считывающему количество накопленного заряда. Падающие фотоны генерируют электронные заряды, которые накапливаются в области хранения заряда. Если падающие фотоны обладают достаточной энергией, и они поглощаются в обедненной области полупроводника, то происходит освобождение электрона, который может быть зафиксирован как заряд.
CCD камера
В ПЗС (CCD – Charge-Coupled Device) сенсорах (прибор с зарядовой связью), как правило, используется только один усилитель, расположенный в углу всей матрицы. Накапливаемый заряд, последовательно переносится через параллельные регистры в линейный последовательный регистр, а затем на выходной узел, прилегающий к считывающему усилителю (см. рис.1).
Рис.1. Принцип работы ПЗС матрицы
Технология ПЗС сенсоров, разработанная в конце 60-х годов прошлого века, до сих пор считается хорошо продуманной. Производительность ПЗС сенсоров раздвинула границы в эффективности регистрации света и уменьшения шума как от слабого сигнала, так и от усилителя считывания. Одним из недостатков ПЗС сенсоров является тот факт, что матрица является по существу устройством последовательного считывания, позволяя получать низкие шумы за счет медленной скорости считывания.
КМОП (CMOS - Complementary Metal-Oxide Semiconductor) камеры могут достичь высокой частоты кадров со средней чувствительностью. В КМОП сенсорах каждый отдельный пиксель или каждый столбец пикселей имеет усилитель, связанный с ним. Ряд пикселей может считываться параллельно строке, выбрав адрес регистра или отдельный пиксель с помощью мультиплексора столбца. КМОП камера по существу является устройством параллельного считывания и, следовательно, позволяет достичь более высоких скоростей считывания, что особенно актуально для обработки изображений. Тем не менее, технология КМОП сенсора по-прежнему нуждается в значительном развитии, чтобы конкурировать с ПЗС матрицами в научных применениях. Научные применения требуют получения высокой чувствительности и скорости считывания при различных уровнях освещенности. Данные свойства могут быть достигнуты при использовании EMCCD (Electron Multiplying Charge-Coupled Device) камеры с электронным умножением.
EMCCD камера
EMCCD камера имеет по существу такую же структуру, как ПЗС сенсоры с добавлением важной особенности. Накапливаемый заряд переносится через параллельные регистры к линейному регистру, как и прежде, но теперь перед тем как произвести считывание заряда происходит его усиление через регистр умножения (см. рис.2).
Рис.2. Принцип работы EMCCD камеры
Сигнал усиливается выше шума считывания усилителя, что приводит к более высокой чувствительности, по сравнению с ПЗС сенсорами. EMCCD камеры используют аналогичные структуры, как и CCD камеры и так же ограничены в получении минимального времени экспозиции.
ICCD камера
ICCD (Intensified Charge-Coupled Device) камера позволяет достичь сверхкороткого времени экспозиции. В электрооптическом преобразователе (ЭОП) светочувствительная поверхность (фотокатод) захватывает падающие фотоны и генерирует усиленные электронные заряды. Фотокатод схож по своей природе со светочувствительной областью фотоэлектронного умножителя (ФЭУ), которые широко используются в конфокальных микроскопах и спектрометрах. Фотокатод использует энергию падающих фотонов для освобождения электронов. Освобожденные электроны ускоряются в направлении электронного умножителя, состоящего из ряда наклонных трубок, называемых микроканальными пластинами. Под ускоряющим потенциалом высокого напряжения, падающие электроны получают энергию, достаточную, чтобы выбить дополнительные электроны и, следовательно, усилить исходный сигнал. Этот сигнал может быть зарегистрирован несколькими способами - путем непосредственного обнаружения с использованием специальной ПЗС матрицы (CCD матрица с электронной бомбардировкой), либо косвенно с помощью люминофора и ПЗС матрицы (см. рис.3).
Рис.3. Принцип работы ICCD камеры
ICCD камера позволяет достичь короткого времени экспозиции при использовании импульсного напряжения затвора между фотокатодом и микроканальной пластинкой. Прикладывая небольшое положительное напряжение, электроны, испускаемые фотокатодом, могут быть подавлены, и, следовательно, не обнаружены. При переключении напряжения на отрицательную полярность электроны из фотокатода ускоряются через зазор к микроканальной пластинке, где они усиливаются и регистрируются. Прикладывая соответствующий короткий импульс напряжения, усилитель может эффективно включаться и выключаться в наносекундном режиме. ICCD камера позволяет получать короткое время экспозиции или стробирование, что находит свое применение в лазерно-искровой эмиссионной спектроскопии или исследованиях процессов горения.
В большинстве научных применений, предъявляющих требования к чувствительности или динамическому диапазону, используются CCD камеры. ПЗС камеры предлагают огромный выбор сенсоров, подходящих для применений, начиная от астрономии до спектроскопии. ПЗС технология является относительно новой, а КМОП технология еще нуждается в значительном развитии, чтобы конкурировать с CCD матрицами в научных применениях. ICCD камера лучше всего подходит, когда требуется сочетать высокую чувствительность с высокой скоростью обработки изображения. Это особенно актуально в таких применениях, как флуоресцентная микроскопия или сверхбыстрая спектроскопия.
sCMOS камера
Гибридные сенсоры, которые сочетают в себе ПЗС и КМОП технологии, обеспечивают высокую производительность, превосходящую традиционные ПЗС и КМОП детекторы. Гибридные ПЗС/КМОП устройства были разработаны для того, чтобы соответствовать характеристикам изображения получаемого с помощью ПЗС матриц с возможностями скорости считывания КМОП матриц.
Принцип работы sCMOS матрицы
Для того чтобы одновременного свести к минимуму шум считывания и максимизировать динамический диапазон была разработана следующая схема sCMOS (Scientific CMOS) сенсора. Сенсор имеет раздвоенную схему считывания, в которой верхняя и нижняя половинки сенсора считываются независимо друг от друга. Каждый столбец в каждой половине сенсора оснащен двумя усилителями и двумя аналого-цифровыми преобразователями (АЦП), как показано на рис. 4.
Рис.4. Принцип работы sCMOS камеры
Пара, состоящая из двух усилителей и двух АЦП, имеет независимые настройки усиления. Таки образом окончательное изображение восстанавливается путем комбинирования считывания пикселя с обоих каналов, с канала высокого и низкого коэффициента усиления считывания для достижения широкого динамического диапазона внутри кадра для маленького шага пикселя.
Каждый пиксель имеет 5 транзисторов (дизайн '5Т'), позволяя использовать режим “кадрового затвора”, производить двойную коррелированную выборку (для уменьшения шума) и горизонтальный анти-блюминг (для уменьшения засветки).
Уникальные возможности sCMOS камеры
Технология sCMOS камеры уникальна тем, что позволяет преодолеть ряд ограничений, оптимизируя производительность камеры.
Часть 1. Современные научные камеры: межстрочная CCD и EMCCD камера.
Многие научные применения требуют применение сенсоров с большим разрешением в фокальной плоскости, которые могут работать с очень высокой чувствительностью и широким динамическим диапазоном. Так же необходимо, чтобы данные сенсоры имели высокую частоту кадров для захвата динамических событий с высоким временным разрешением.
Но существуют моменты, при которых определенные требования не выполняются. К примеру, для достижения среднеквадратического шума CCD камеры в 3 е- приходится жертвовать скоростью частоты кадров, что особенно не удобно при использовании камеры с разрешением в несколько мегапикселей. И наоборот, когда мы хотим получить более высокие скорости кадров, уменьшается разрешение, поле зрения, динамический диапазон или увеличивается шум считывания.
В качестве иллюстрации рассмотрим одну из самых популярных, высокопроизводительных научных ПЗС технологий, представленных на рынке – построчная CCD камера. Эти устройства могут иметь скорость считывания в 20 Мп/с со среднеквадратичным шумом считывания от 5 до 6 е-. На этой скорости считывания 1,4 Мп сенсор может достигать 11 кадров в секунду. Использование микролинз гарантирует, что большинство падающих фотонов попадут на активную область сенсора, минуя построчную металлического оболочку ограничивающую каждый пиксель, что приведет к пиковой квантовой эффективности более чем в 60%. Высокая производительность в сочетании с низкой стоимостью сделали построчную ПЗС камеру очень популярным выбором для таких применений, как флуоресцентная клеточная микроскопия, визуализация люминесценции и машинное зрение. Тем не менее, даже значение шума от 5 до 6 e- электрон слишком много для большинства научных применений, использующий низкий уровень освещенности. Например, при визуализации динамики живых клеток, существует необходимость ограничить поток света для флуоресцентного возбуждения. Кроме того динамическая визуализация требует использования более короткого времени экспозиции, уменьшая количество падающих фотонов на кадр.
Значение шума считывания становится доминирующим параметром, определяющим предел обнаружения и серьезно ставящим под угрозу соотношение сигнал/шум и, следовательно, способность различать тонкие структурные особенности внутри клетки при очень низкой освещенности. Таким образом, построчные CCD камеры ограничены в использовании, так как не могут одновременно поддерживать низкий уровень шума при более высокой скорости считывания.
EMCCD камера была введена на рынок компанией Andor в 2000 году, и представляет собой значительный шаг вперед в решении проблемы одновременного получения низкого уровня шума при высокой скорости считывания, как описано выше. EMCCD камеры используют механизм усиления на чипе, который называется “ударная ионизация”, умножая фотоэлектроны, которые генерируются кремниевым сенсором. Таким образом, сигнал от одного фотона может быть усилен выше уровня шума считывания, даже при высоких скоростях считывания порядка МГц. Важно отметить, что это позволяет EMCCD сенсору регистрировать одиночные фотоны при быстрой частоте кадров (например, 34 кадра/сек при формате матрицы 512х512). Это свойство нашло свое применение при визуализации одной молекулы при низком освещении.
Однако, несмотря на высокую чувствительность в условиях очень низкой освещенности существует ряд недостатков технологии EMCCD. Механизм усиления необходимый для уменьшения эффективного шума считывания до <1e- также вызывает дополнительный источник шума, именуемый как мультипликативный шум. Это значительно увеличивает дробовой шум сигнала на коэффициент 1.41, что проявляется в увеличении изменчивости низкого светового сигнала от пикселя к пикселю и от кадра к кадру. Суммарный эффект мультипликативного шума проявляется в том, что полученное изображение имеет сниженное отношение сигнал-шум, уменьшая в два раза квантовую эффективность сенсора. Например, квантовая эффективность в 90% имеет фактически 45%. Необходимо также учитывать ограничения динамического диапазона. Можно достичь высокого значения динамического диапазона с пикселем большого размера (от 13 до 16 мкм), но только при низких скоростях считывания.
Таким образом, более высокий динамический диапазон, может быть достигнут только при более низкой частоте кадров (или путем уменьшения размера матрицы) и низком усилении. Применение более высокого значения усиления электронного умножителя негативно влияет на динамический диапазон. Стоимость данной матрицы так же является ограничивающим фактором для ее использования. В настоящее время самый большой коммерчески доступный EMCCD сенсор с задней подсветкой имеет разрешение 1024x1024 пикселей с шагом пикселя 13 мкм и габаритный размер сенсора 13,3х13,3 мм. Дальнейшее увеличение разрешения приведет к значительному росту цены сенсора.
Часть 2. sCMOS камера: устранение ограничений
Технология sCMOS основана на новом поколении дизайна и технологии КМОП процесса. Этот тип устройства имеет расширенный набор функций, что делает его пригодным для количественных научных измерений повышенной точности. sCMOS сенсор можно считать уникальным прибором, который преодолевает ограничения, обсуждаемые ранее, а также устраняет недостатки производительности, которые традиционно были связаны с обычными КМОП матрицами.
Сенсор sCMOS матрицы с разрешением 5.5 Мп имеет большое поле зрения и высокое разрешение, не ставя под угрозу шум считывания или частоту кадров. Значение уровня шума считывания является незначительным, даже по сравнению с самыми высокопроизводительными ПЗС матрицами. Даже ПЗС матрицы с медленным сканированием не способны достичь такого низкого уровня шума. Тот факт, что sCMOS сенсор достигает значения среднеквадратичного шума считывания в 1 е- электрон при считывании 5,5 Мп изображения со скоростью 30 кадров/с делает его поистине уникальным на рынке. Кроме того, сенсор способен достигать 100 полных кадров в секунду со среднеквадратическим шумом считывания в 1.3 е- электрон. Для сравнения, самое низкое значение уровня шума построчной ПЗС камеры при считывании изображения размером 1,4 Мп при скорости 16 кадров/с составляет примерно 10 е-.
Можно получить большую скорость кадров посредством выбора определенной области, так, что при изменении поля зрения достигается высокое пространственное разрешение. Таблица 1 показывает зависимость частоты кадров от размера матрицы для кадрового и строкового режима чтения sCMOS камеры.
Таблица 1 – зависимость частоты кадров от размера матрицы для кадрового и строкового режима чтения sCMOS камеры.
|
Размер матрицы (В x Ш) |
Строковый режим чтения (к/с) |
Кадровый режим чтения (к/с) |
|
2560 x 2160 (полный кадр) |
100 |
50 |
|
2064 x 2048 (4 Мп) |
104 |
52 |
|
1392 x 1040 (1.4 Мп) |
204 |
100 |
|
512 x 512 |
412 |
200 |
|
128 x 128 |
1,616 |
711 |
Следует отметить, что каждое из окон может быть расширено до полной ширины в горизонтальном направлении, и по-прежнему поддерживать ту же указанную частоту кадров. Например, окна размером 1390x1024 и 2560x1024 пикселей поддерживают 220 кадров в секунду в построчном режиме работы камеры. Это особенно важно для приложений, где необходимо использовать длинную область захвата.
Значение низкого уровня шумов считывания дополняется высоким динамическим диапазоном 30 000:1 при скорости 30 кадров в секунду. Сравнивая CCD или EMCCD сенсоры можно сказать, что для достижения высокого динамического диапазона им приходится ограничивать скорость считывания. Кроме того, структура sCMOS сенсора при высоком динамическом диапазоне имеет большую емкость потенциальной ямы, несмотря на малый размер пикселя. Для сравнения, CCD матрица с разрешением в 1.4 Мп получает динамический диапазон 1800:1 при 16 кадрах в секунду для аналогичного по размеру пикселя.
Часть 3. Сравнение sCMOS камер с научными CCD и EMCCD камерами.
Краткий сравнительный обзор sCMOS сенсора приведен в таблице 2. В таблице 2 приведены сравнительные характеристики трех основных типов сенсоров: sCMOS, CCD и EMCCD.
Таблица 2 - Сравнительные характеристики трех основных типов сенсоров: sCMOS, CCD и EMCCD.
|
Параметры |
Neo sCMOS |
Межстрочная CCD |
EMCCD |
|
Формат сенсора |
5.5 Мп |
от 1.4 до 4 Мп |
0.25 до 1 Мп |
|
Размер пикселя |
6.5 мкм |
от 6.45 до 7.4 мкм |
от 8 до 16 мкм |
|
Шум считывания |
1 e- при 30 к/с |
4 -10 e- |
< 1e- (с усилением) |
|
Полная частота кадров (макс.) |
Стандартный режим:
>30 к/с 100 к/с |
от 3 до 16 к/с |
~ 30 к/с |
|
Квантовая эффективность |
57% |
60% |
90% при задней подсветке |
|
Динамический диапазон |
30000:1 |
~ 3000:1 |
8500:1 |
|
Мультипликативный шум |
отсутствует |
отсутствует |
при усилении в 1.41 раз (фактически делит пополам квантовую эффективность) |
В данном разделе будут рассматриваться два вида сенсоров: CCD и EMCCD, учитывая их популярность использования в научных применениях для обработки изображений. Межстрочные CCD матрицы, как правило, имеют разрешение от 1,4 до 4 Мп. Сенсоры EMCCD матрицы имеют разрешение 0.25 или 1 Мп со скоростью до 30 кадров в секунду.
Очевидно, что по большинству параметров sCMOS матрицы имеют лучшее значение, а именно шум, скорость считывания, динамический диапазон и соотношение поле зрения/разрешение. Важно отметить, что эти преимущества выполняются без ограничений. Преимущество по уровню шума считывания остается у EMCCD технологии, которая усиливает входной сигнал над уровнем шума считывания и делает его значение менее <1e-. Помимо этого, sCMOS сенсоры имеют высокую квантовую эффективность (90%). EMCCD технология, не имея таких высоких значений параметров, как у sCMOS сенсора (разрешение, поле зрения, динамический диапазон и частота кадров), тем не менее позволяет регистрировать слабые сигналы.
Рис. с 5 по 8 демонстрируют чувствительность трех камер: sCMOS камера с разрешением 5.5 Мп, межстрочная ПЗС камера с разрешением 1.4 Мп и EMCCD камера c задней подсветкой с разрешением 1 Мп.
Данные камеры имеют следующие характеристики:
- sCMOS камера: скорость считывания 560 МГц, 100 кадров в сек и шум считывания в 1.3 е-.
- CCD камера, Andor Clara: скорость считывания 20 МГц, 11 кадров в сек и шум считывания в 5 е- .
- EMCCD камера, Andor iXon 888: скорость считывания 10 МГц c 300 кратным коэффициентом усиления, 9 кадров в сек и шум считывания в 0.15 е-.
Условия формирования изображения при низкой освещенности были созданы с помощью светонепроницаемой установки, оснащенной диффузным, с переменной интенсивностью светодиодным источником света с длиной волны 622 нм, маской (состоящей как из набора отверстий так и из таблицы разрешения), а также с помощью конфокального вращающегося диска и обычных широкопольных флуоресцентных микроскопов, визуализирующих фиксированные бычьи эпителиальные клетки меченные красителем BODIPY FL (максимальная длина волны излучения ~ 510нм).
Рис.5. Сравнение чувствительности научных камер Andor на диаграмме разрешения при низком светодиодном освещении: sCMOS матрица (шум считывания 1.3 е- при скорости считывания 560 МГц) и межстрочная CCD матрица (шум считывания 5 е- при скорости считывания 20 МГц)
Светодиодная установка отлично подходит для сравнения чувствительности при крайне низкой освещенности, используя два параметра низкой интенсивности света: 10 фотонов/6,5 мкм и 32 фотонов/6,5 мкм. Превосходство соотношения сигнал/шум sCMOS камеры над оптимизированной CCD камерой проявляется в виде контраста сигнала над шумом, что так же способствует улучшению разрешающей способности. Тем не менее, сравнение двух sCMOS и CCD камер, а также EMCCD камеры (рис. 6) в светонепроницаемой светодиодной установке показали, что значение уровня шума считывания <1 е- и высокая квантовая эффективность приводят к высокому уровню контраста слабого сигнала.
Рис.6. Сравнение чувствительности научных камер Andor на диаграмме разрешения при низком светодиодном освещении (10 фотонов на 6.5 мкм): sCMOS матрица (шум считывания 1.3 е- при скорости считывания 560 МГц), межстрочная ПЗС матрица (шум считывания 5 е- при скорости считывания 20 МГц) и EMCCD камера с задней подсветкой (шум считывания <1 е-). Для получения эффективного шага пикселя и приема освещения на площадь пикселя, размер пикселя sCMOS матрицы и межстрочной CCD матрицы был подогнан по размеру пикселя EMCCD камеры за счет режима биннинга 2x2 и составил 13 мкм.
На рис. 7 и 8 показаны четкие различия в контрастности слабых сигналов sCMOS и межстрочных CCD камер. Разница контраста изображения возникает из-за разности шума считывания между двумя технологиями.
Рис.7. Сравнение чувствительности научных камер Andor при визуализации клетки методом флуоресценции, используя вращающие диски на конфокальном микроскопе (60 кратный иммерсионный объектив) при времени экспозиции 100 мс и одинаковой мощности лазера: sCMOS матрица (шум считывания 1.3 е- при скорости считывания 560 МГц) и межстрочная CCD матрица (шум считывания 5 е- при скорости считывания 20 МГц).
Рис.8. Сравнение чувствительности научных камер Andor при динамической визуализации живых клеток при низкой освещенности на флуоресцентном микроскопе: sCMOS матрица (шум считывания 1.3 е- при скорости считывания 560 МГц) и межстрочная CCD матрица (шум считывания 5 е- при скорости считывания 20 МГц). В широкопольном флуоресцентном микроскопе для уменьшения интенсивности света относительно уровня шума считывания использовались фильтры нейтральной плотности
Чувствительность трех матриц можно сравнить графически, используя параметр соотношения сигнал/шум, как показано на рис.9 и 10.
Рис.9. Сравнение соотношения сигнал/шум для научных камер Andor: sCMOS матрица и межстрочная CCD матрица. Поток фотонов (т.е. входная интенсивность света) представлен как отношение количества фотонов к размеру пикселя 6.5 мкм для каждого сенсора
На рис. 10 показано сравнение соотношения сигнал/шум для трех матриц (sCMOS, CCD и EMCCD с задней подсветкой). Все три сенсора имеют одинаковый размер пикселя 13 мкм. Есть два заметных пересечения, где соотношение сигнал/шум EMCCD матрицы пересекает обе кривые значений sCMOS и CCD матрицы, при потоках фотонов ~ 55 фотонов/пиксель и ~ 225 фотонов/пиксел, соответственно.
Рис.10. Сравнение соотношение сигнал/шум для научных камер Andor: sCMOS матрица, межстрочная CCD матрица и EMCCD матрица с задней подсветкой. Для объективной оценки размер пикселя sCMOS и CCD матриц был подогнан под размер пикселя EMCCD матрицы путем режима биннинга 2x2
На рис. 11 и 12 показаны изображения от широкопольного флуоресцентного микроскопа при X60 и X100 кратном увеличении соответственно для 5,5 Мп sCMOS матрицы и 1,4 Мп CCD матрицы.
Рис.11. Сравнение поля зрения научных камер Andor (шаг пикселя составляет 6.5 мкм) при 60 кратном увеличении и числовой апертуре 1.25: sCMOS матрица и межстрочная CCD матрица с разрешением 5.5 и 1.4 Мп, соответственно. sCMOS матрица демонстрирует широкое поле зрения при скорости 100 кадров/сек и шуме считывания 1.3 е-
Обе матрицы имеют шаг пикселя ~ 6,5 мкм, что позволяет наблюдать тонкие внутриклеточные структуры при большой освещенности, как показано на рис.12.
Рис.12. Сравнение поля зрения и разрешения научных камер Andor (шаг пикселя составляет 6.5 мкм) при 100 кратном увеличении и числовой апертуре 1.45: sCMOS матрица и межстрочная CCD матрица с разрешением 5.5 и 1.3 Мп, соответственно
При низком освещении как показано на рис.5 и 6 высокий уровень шума считывания CCD матрицы влияет на разрешение и контраст изображения. Это основополагающий момент для измерения живых клеток, требующий низкого освещения.
Заключение
После нескольких десятилетий развития технологии изготовления сенсоров для получения цифрового видеоизображения был достигнут значительный прорыв. Мы с уверенностью можем утверждать, что следующий шаг развития сенсорной технологии будет за КМОП сенсорами. Технология sCMOS матриц получила широкое признание в различных областях науки и техники, благодаря сочетанию следующих характеристик: чрезвычайно низкий уровень шума, высокая частота кадров, широкий динамический диапазон, высокая квантовую эффективность, высокое разрешение и большое поле зрения.
