Профессиональная видеокарта NVIDIA Tesla K40 в майнинге – шедевр или…?

В статье «Видеокарта Nvidia GeForce GT 770 с 2 GB памяти в майнинге» рассматривались особенности видеокарты GeForce GT770 с точки зрения майнинга. GT770-я, собранная на основе ядра GK104-425-A2 способна выдавать на алгоритме ethash в Linux около 20 mh/s. Пропускная способность VRAM у GeForce GT770 равна 224 GB/s, а производительность при операциях с плавающей запятой FP64 равна 138.9 GFLOPS.

Профессиональные видеокарты NVIDIA Tesla K40 и K80 также созданы на архитектуре Kepler, но со значительно большей производительностью. У видеоускорителя Tesla K40 (ядро GK110B) скорость обработки данных VRAM равна 288.4 GB/s (больше, чем у GT770 на 28%), а FP64-производительность равна 1.682 TFLOPS (в двенадцать (!) раз больше). Она имеет внушительный объем VRAM даже по современным меркам, равный 12 GB.

Технические данные NVIDIA Tesla K40 согласно GPU-Z:

Исходя из такой производительности, хешрейт на алгоритме Ethash у Tesla K40 должен равняться 36 mh/s, что прилично и в наши дни. При потреблении (TDP), равном 245 ваттам, эффективность майнинга Ethereum составляет 0.15 mh/s на 1 ватт. На практике эффективность майнинга у NVIDIA Tesla K40 гораздо ниже, так как полноценно задействовать вычислительные возможности этой карты в современных условиях не так легко.

В данной статье рассматриваются некоторые аппаратные особенности видеокарты NVIDIA Tesla K40, а также приводятся результаты тестирования видеоускорителя NVIDIA Tesla K40 в майнинге на некоторых актуальных алгоритмах.

Технические особенности видеокарты NVIDIA Tesla K40

Профессиональные графические ускорители NVIDIA Tesla K40 начали выпускаться еще в июле 2013 года. В них используется уже значительно устаревший GPU GK110B, созданный на основе архитектуры Kepler.

Во время своего появления GK110B был топовым видеочипом, который устанавливался на следующих видеокартах фирмы Nvidia:

• GeForce GTX 780 3/6 GB (чипы GK110-300-B1/GK110-301-B1) — урезанная версия с 2304 шейдерными процессорами и 192 TMU, работающая на частоте до 902 MHz;
• GeForce GTX 780Ti 3/6 GB (GK110-425-B1) — полноценная версия GPU с 240 TMU, частота GPU — до 928 MHz;
• GeForce GTX Titan Black/Titan Z на 6 GB — видеокарты с чипами GK110-430-B1/GK110-350-B1, работающими на частотах до 980/876 MHz;
• Nvidia Quadro K5200 на 8 GB — видеокарты с «обрезанными» чипами (2304 шейдера и 192 TMU), работающие на частоте до 771 MHz;
• Nvidia Quadro K6000 на 12 GB — видеокарты с чипами GK110-890-B1, работающие на частоте до 902 MHz;
• Nvidia Tesla K40D/K40M/K40S/K40st/K40T — профессиональные видеокарты без видеовыходов, с чипами, работающими на частоте до 876 MHz.

NVIDIA Tesla K40 работает со скоростью в 2.8xраз большей, чем видеоускоритель Tesla M2090 и на 40% быстрее, чем карты Tesla K20X предыдущего поколения.

Tesla K40 поддерживает технологии ECC, SMX Engine, Dynamic Parallelism, Hyper-Q, CUDA и GPU Boost. Из них наиболее важной для майнинга является аппаратно поддерживаемая версия CUDA — чем новее она, тем лучше.

Так как Tesla K40 создана по архитектуре Kepler, то она поддерживает только версию 3.5 технологии CUDA, а также OpenCL 1.2. Это значительно сужает диапазон применения этих мощных видеоускорителей в современных условиях и во многих случаях требует использования самостоятельно скомпилированных майнеров, либо программ, созданных несколько лет назад (с ограниченным набором алгоритмов). Схожий видеоускоритель Tesla K80 (24 GB VRAM, видеочип GK210) поддерживает технологию CUDA 3.7, что также недостаточно для реалий 2021 года.

Элементная база видеокарты Nvidia Tesla K40

Передняя сторона печатной платы Nvidia Tesla K40:

Задняя сторона печатной платы Nvidia Tesla K40 :

Вычислительную мощь Nvidia Tesla K40 обеспечивает чип GK110-897-B1:

Солидный объем видеопамяти 3D-ускорителя Nvidia Tesla K40, равный 12 GB памяти GDDR5-типа, набран 24 микросхемами Hynix H5GC4H24MFR-T2C (по 12 с каждой стороны платы):

Эти чипы могут работать на эффективной частоте 5-6 Gbps (тактовая частота 1200-1500 MHz) при напряжении 1.35-1.5V. Так как на печатной плате используется 24 модуля, включенных по интерфейсу в 16 бит, то ширина шины памяти у видеокарты Tesla K40 равна 16х24=384 бита.

Пропускную способность памяти можно рассчитать по формуле:

Пропускная способность памяти, бит в секунду = Тактовая частота (Hz) x разрядность шины (бит) x количество бит, передаваемых в пакете за такт х количество каналов памяти (для GDDR5-памяти = 4)

VRAM bandwidth у Nvidia Tesla K40 равен:

1500,000,000 тактов в секунду × 2 пакета за такт × 384 бит в пакете × 2 частота чтения/записи = 2.304e+12 бит в секунду, или примерно 288.4 GB/s.

ШИМ-контроллер NCP81208 производства On Semiconductor и ШИМ-контроллер APW7142 фирмы Anpec Electronics:

На лицевой стороне печатной платы видеокарты Nvidia Tesla K40 расположены фазы питания GPU, набранные DrMOS FDMF6823B производства Fairchild Semiconductor:

Модули FDMF6823B работают с 93% эффективностью на токах до 55 ампер и включают в одном корпусе драйвер, два силовых MOSFETа, ограничительный диод Шоттки

Типовая схема включения FDMF6823B:

Блок-схема DrMOS FDMF6823B:

Конфигурация пинов FDMF6823B:

Полевые транзисторы NTMFS4939N (Id=15.7 A, Uds=30 V) и двухфазный ШИМ-контроллер APW7088:

На плате используется несколько трехамперных линейных регуляторов напряжения GS7103 фирмы GStek:

Типовая схема включения и функциональная диаграмма преобразователя постоянного напряжения GS7103:

Микросхема флеш-BIOS 25Q20BT (VCC=3.3V) и место с нераспаянными деталями видеовыходов:

Сравнительные характеристики технических характеристик видеокарт Nvidia Tesla K40, GeForce GTX 1080Ti/1080, AMD Radeon R9 290:

Параметр	Nvidia Tesla K40	Nvidia GeForce GTX 1080Ti	Nvidia GeForce GTX 1080	AMD Radeon R9 390
Дата начала производства	22 ноября 2013	10 марта 2017	27 мая 2016	18 июня 2015
Графический процессор	GK110B	GP102-350	GP104-400	Grenada PRO (215-0880030)
Архитектура	Kepler	Pascal	Pascal	GCN 2.0
Технический процесс, нм	28	16	16	28
Количество транзисторов, млрд	7.08	11.8	7.2	6.2
Площадь кристалла, mm²	561	471	314	438
Количество ядер (Cores)	2880	3584	2560	2560
Количество блоков текстурирования/ растеризации (TMU/ROP)	240/48	224/88	160/64	160/64
Частота работы GPU, МГц	745-876	1481-1582	1607-1733	1000
Производительность при операциях с плавающей запятой FP64, GFLOPS	1682	354.4	277.3	640
Объем видеопамяти, GB	12	11	8	8
Тип видеопамяти	GDDR5	GDDR5X	GDDR5X	GDDR5
Тактовая частота памяти, МГц	1502	1376	1251	1500
Разрядность шины памяти, бит	384	352	256	512
Эффективная частота работы памяти, Gbps	6	11	10	6
Полоса пропускания памяти, GB/s	288.4	484.4	320.3	384
Поддерживаемая версия CUDA/ OPENCL	3.5/1.2	6.1/1.2	6.1/1.2	-/2.0
Теоретический хешрейт на Ethash, mh/s (согласно производительности VRAM)	36	60.5	40	48
Потребление (TDP), ватт	245	250	180	275

Как запустить майнинг на видеокарте Nvidia Tesla K40?

При выборе видеокарты Nvidia Tesla K40 лучше ориентироваться на модели ревизии K40c, которая имеет встроенную активную систему охлаждения с вентилятором.

Модель видеокарты с буквой M (K40m) имеет пассивную систему охлаждения, которая в большинстве случаев требует доработки для майнинга/высокопроизводительных вычислений. Проблема (при наличии желания) успешно решается путем установки дополнительных радиаторов на чипы памяти и установки вместо штатного кожуха на лицевую сторону видеокарты вентиляторов.

Для практического использования видеокарт Nvidia Tesla K40 нужно задействовать материнские платы с включенной опцией large BAR или Above 4G Decoding и поддержкой PCI-E третьего поколения. В противном случае в Windows появляется ошибка 12, связанная с нехваткой ресурсов:

Увеличение виртуальной памяти даже до 24 GB, а также использование 6xGPU_mod в этом случае не помогают. На компьютерах под управлением Linux без поддержки large BAR/Above 4G Decoding при включении Nvidia Tesla K40 ситуация не лучше.

Для полноценного раскрытия Tesla K40/K80 нужно включать в слот PCIE, работающий в режиме x16 3.0.

В связи с тем, что видеокарта K40 имеет большой объем VRAM (12GB), для ее работы, кроме ресурсов в виде выделенных линий PCI-E, требуется обеспечить 16 GB выделенной памяти BAR (Base Address Registers). На практике удавалось запустить Теслу К40 и в конфигурации с 8 GB ОЗУ.

Потребление ресурсов видеокартой Tesla K40, отображаемое по команде lspci -vvv (видно, что резервируется 16G памятия для Region 1):

01:00.0 3D controller: NVIDIA Corporation GK110BGL [Tesla K40m] (rev a1)

Subsystem: NVIDIA Corporation 12GB Computational Accelerator

Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx-

Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-

Latency: 0

Interrupt: pin A routed to IRQ 129

Region 0: Memory at a2000000 (32-bit, non-prefetchable) [size=16M]

Region 1: Memory at 4400000000 (64-bit, prefetchable) [size=16G]

Region 3: Memory at 4200000000 (64-bit, prefetchable) [size=32M]

Capabilities: <access denied>

Kernel driver in use: nvidia

Kernel modules: nvidiafb, nouveau, nvidia_drm, nvidia

В покое в операционной системе xubuntu 18.04 видеокарта NVIDIA Tesla K40M потребляет 19 ватт (не считая потребления системы охлаждения, подключаемой отдельно):

Хешрейт видеокарты NVIDIA Tesla K40 при майнинге

В связи с почтенным возрастом видеоускорителя NVIDIA Tesla K40, ему присущи проблемы, связанные с отсутствием поддержки CUDA 3.5 в современных майнерах, работающих с CUDA не ниже пятой версии.

Вычислительные возможности видеокарт NVIDIA Tesla серии K ограничены compute capability третьего поколения:

Категорически отказываются работать с Tesla K40 и К80 программы с закрытым исходным кодом, например, nanominer, NBMiner, gminer, verthashminer, CryptoDredge, T-Rex и другие.

Например, nanominer при попытке запустить майнинг на видеокартах NVIDIA Tesla K выдает сообщение:

Device "Tesla K40m" has too low compute capability (3.5) which is not supported. The required compute capability is 5.x or higher.

При настройке паарметров разгона Tesla K40 следует учитывать, что она поддерживает power limit от 180.00 до 235.00 W (параметр nvidia-smi -pl).

Несмотря на различные ухищрения, использование разных версий драйверов и программ, видеоускоритель Tesla K40 на практике показывает смехотворную производительность при майнинге, не соответствующую его теоретическим возможностям.

На алгоритме verthash в xubuntu 18.04 он выдает «целых» 181 kh/s, что хуже Radeon RX462:

PhoenixMiner при майнинге Ethereum (DAG больше 4 GB) на Tesla K40 выдает 1.8 mh/s, несмотря на то, что DAG генерируется с внушительной скоростью 275 MB/s (хешрейт должен равняться 34 mh/s):

PhoenixMiner и Claymore Miner при майнинге на алгоритме Ethash с малым DAG на Nvidia Tesla K40 обеспечивают хешрейт 7-11 mh/s в xubuntu 18.04:

В Windows хешрейт аналогичен:

Нас алгоритме zhash (equihash 144) в программе miniZ в Windows видеокарта Тесла К40 выдает единицы sol/s:

В программе xmrig-nvida, скомпилированной для старых видеокарт, удалось запустить майнинг на алгоритмах семейства Cryptonight как в Linux, так и в Windows. На алгоритме CN_GPU Тесла К40 выдает 440-450 h/s в Windows 8.1, 280-290 h/s в xubuntu, на CN_Haven — 230-240 h/s (Windows), 190-200 h/s (xununtu).

Майнинг на Nvidia Tesla K40 на алгоритме CN_GPU, xmrig-nvidia, Windows 8.1, драйвер 461.40, cuda-bfactor=10:

Майнинг на nvidia tesla k40 на алгоритме CN_GPU в программе xmrig-nvidia в xubuntu 18.04 (cuda-bfactor=10):

Майнинг на nvidia tesla k40 на алгоритме CN_Haven в программе xmrig 6.10.0 (cuda-bfactor=10, xubuntu 16.04, драйвер 430.64):

В программе MSI Afterburner управление параметрами разгона и даунвольтинга видеоускорителя TESLA K40 ограничено только памятью, ползунок частоты ядра активен, но его изменение не влияет на реальные показатели GPU:

Программа nvidiainspector вообще не видит GPU Tesla K40.

Возможно, проблемы с майнингом вызывает аппаратное ограничение TDP видеокарт Tesla K, так как потребление при майнинге слишком мало в сравнении с выставленным лимитом/штатным TDP. Это подтверждается одинаково заниженным потреблением в Linux и Windows.

TDP видеоускорителя Tesla K40 при майнинге в Windows аппаратно ограничивается 50% (майнинг в программе xmrig-nvidia на алгоритме CN_Haven):

Несмотря на заданный предел потребления, равный 180 ваттам, в xubuntu карта держит свое потребление на уровне 86-120 ватт даже в холодном состоянии (38 градусов по Цельсию):

Заключение

Профессиональные видеокарты Tesla, предназначенные для установки в OEM-серверах (C2075, K20, K40, K80), мало подходят для майнинга. Это связано с отсутствием в открытом доступе документации о способах раскрытия их вычислительного потенциала и объясняется стремлением производителей получать прибыль от продажи видеоускорителей новых поколений.

Для полного раскрытия потенциала видеоускорителей Tesla, вероятно, нужно обеспечивать включение опции Resizable BAR, что требует наличия поддержки на аппаратном и программном уровне.

Практическое использование этих видеокарт для майнинга в настоящее время требует проведения усиленных «танцев с бубнами» и, в большинстве случаев, не стоит затраченного на это времени (в сравнении с достигаемыми результатами).

P.S. Продолжение эпопеи с “выжиманием соков” из графического ускорителя Nvidia Tesla K40 описывается в статье Майнинг на видеокартах Nvidia Tesla серии K на алгоритме Ethash.

P.P.S. Прошивка модернизированного BIOS обеспечивает увеличение хешрейта на Тесла К40 до 19-20 MH/s. Подробнее в статье Модернизация BIOS видеокарт Nvidia на архитектуре Kepler для майнинга на примере Tesla K40.