Co jest skonfigurowane na serwerze GPU RealityHost?

Na wszystkich serwerach GPU są skonfigurowane: sterowniki NVIDIA, CUDA, cuDNN, Docker z obsługą GPU. Na życzenie instalujemy vLLM, Ollama, ComfyUI, Triton.

Jaki GPU wybrać do inferencji LLM?

RTX 4090 (24 GB) sprawdzi się w modelach do 13B. RTX 5090 (32 GB) — do 20B. A100 80GB — do 70B z kwantyzacją. H100 — do 70B+ w FP16 lub do trenowania.

Strona główna » Serwery GPU NVIDIA do AI

Serwery GPU NVIDIA do AI

Q: Ile VRAM potrzeba do uruchomienia Llama 3.1 70B?

Llama 3.1 70B w FP16 wymaga ok. 140 GB VRAM. W formacie Q4_K_M (kwantyzacja) — ok. 40 GB, wystarczy A100 80GB. Do zastosowań produkcyjnych polecamy A100 lub H100.

RTX 4090, RTX 5090, A100 i H100 ze skonfigurowanym stosem CUDA. Do inferencji LLM, trenowania sieci neuronowych, generowania obrazów, transkodowania wideo i renderingu. Aktywacja w godzinę.

CUDA
cuDNN · Docker

~1 godzina
aktywacja RTX

H100
na zamówienie

Centrum danych · na żywo

69,6 Gb/s

ruch wychodzący w tej chwili

serwerów w sieci

8 504

VPS online

GPU w pracy

99.95%

dostępność w miesiącu

Dostępne akceleratory

Wybierz kartę pod swoje obciążenie

Od najlepszej relacji ceny do wydajności po flagowca do trenowania dużych modeli.

Porównanie

Parametry akceleratorów

Karta	VRAM	Rdzenie CUDA	FP16	Cena / mies.
RTX 4090 Ada · inferencja	24 GB GDDR6X	16 384	82.6 TFLOPS	2180 zł
RTX 5090 Blackwell · nowość	32 GB GDDR7	21 760	104.8 TFLOPS	4120 zł
A100 80GB Ampere · trenowanie	80 GB HBM2e	6 912	312 TFLOPS	9220 zł
H100 PCIe Hopper · flagowiec	80 GB HBM3	14 592	756 TFLOPS	od 18 920 zł

Do jakich zadań wynajmuje się serwery GPU

Serwer GPU ma dedykowany akcelerator NVIDIA z rdzeniami CUDA i dużą pamięcią wideo. W trenowaniu i inferencji sieci neuronowych daje to przyspieszenie 50–500 razy w porównaniu ze zwykłym serwerem CPU.

Inferencja LLM — vLLM, llama.cpp, Ollama, TGI, Triton. Uruchamianie Llama, Mistral, Qwen w środowisku produkcyjnym
Trenowanie i dostrajanie modeli — PyTorch, fine-tuning, LoRA, potoki RAG
Generowanie obrazów — Stable Diffusion, ComfyUI, Flux
Wideo i rendering — transkodowanie, Blender, V-Ray, OctaneRender, DaVinci Resolve
Obliczenia naukowe — HPC, symulacje, przetwarzanie dużych zbiorów danych

Jak wybrać GPU do zadania

RTX 4090 i RTX 5090 — do inferencji i modeli dyfuzyjnych

RTX 4090 (24 GB VRAM, 82,6 TFLOPS FP16) to optymalny wybór do inferencji LLM do 13B parametrów, Stable Diffusion, ComfyUI i
transkodowania wideo. Najlepszy wskaźnik $/TFLOPS wśród dostępnych
konfiguracji.
RTX 5090 (32 GB VRAM) pozwala pracować z modelami do 20B.

A100 80GB — do trenowania modeli bazowych

A100 z 80 GB HBM2e i obsługą NVLink to wybór do dostrajania i trenowania modeli 30B–70B parametrów. Obsługuje FP64 do obliczeń naukowych.

Zainstalowana na serwerze hosta AMD EPYC z 512 GB ECC RAM.

H100 PCIe — flagowiec dla największych transformerów

H100 z 756 TFLOPS FP16 i obsługą FP8 — do trenowania i inferencji modeli 70B–405B parametrów (Llama 3.1 405B, Mistral Large).

Dostępna na zamówienie od 24 godzin. Serwer hosta: EPYC, 1 TB RAM, 10 Gb/s

Szybki start: co jest skonfigurowane na serwerze GPU

Po otrzymaniu dostępu na serwerze są już zainstalowane:

Sterowniki NVIDIA w najnowszej stabilnej wersji
CUDA 12.x i cuDNN — gotowe dla PyTorch i TensorFlow
Docker z obsługą GPU — uruchom kontener z --gpus all
Na życzenie: vLLM, Ollama, ComfyUI, Triton Inference Server pod
klucz

Uruchomienie Llama 3.1 8B na RTX 4090: docker run --gpus all -p 8000:8000 vllm/vllm-openai:latest \ --model meta-llama/Llama-3.1-8B-Instruct

Którą kartę wybrać

RTX 4090 / 5090 — najlepszy $/TFLOPS do inferencji i modeli dyfuzyjnych; w większości zadań do 32 GB VRAM w zupełności wystarczą. A100 80GB — do trenowania modeli bazowych i obciążeń wymagających dużej pamięci wideo oraz NVLink. H100 — flagowiec do trenowania i inferencji największych transformerów z FP8.

Karty RTX aktywujemy w godzinę, A100 — w ciągu doby. H100 — na zamówienie, od 24 godzin do 3 dni. Do jednorazowych zadań możliwy jest wynajem krótkoterminowy — ustalimy szczegóły na Telegramie.

Skonfigurowany stos

Sterowniki

NVIDIA latest

CUDA / cuDNN

✓

Docker GPU

✓

PyTorch

na życzenie

vLLM / Ollama

pod klucz

Magazyn

NVMe + S3

Sieć

do 10 Gb/s

Nie wiesz, jakiej karty potrzebujesz?

Opisz model i obciążenie — doradzimy optymalny GPU pod względem relacji ceny do wydajności.

FAQ

Częste pytania o wynajem serwerów GPU

Ile VRAM potrzeba do uruchomienia Llama 3.1 70B?

Model Llama 3.1 70B w formacie FP16 wymaga ok. 140 GB VRAM — potrzebna jest konfiguracja z kilkoma kartami lub kwantyzacja. W formacie Q4_K_M (llama.cpp) — ok. 40 GB, wystarczy RTX 5090 lub A100 80GB. Do inferencji pod obciążeniem produkcyjnym polecamy A100 80GB.

Czy można wynająć GPU na jeden dzień lub tydzień?

Standardowy okres to 1 miesiąc. Przy jednorazowych zadaniach (trenowanie modelu, rendering partii) ustalamy wynajem krótkoterminowy — napisz do @rodionpilot.

Czy obsługiwane są Jupyter Notebook i VS Code Remote?

Tak. Na serwerze jest zainstalowany Docker i masz pełny dostęp root. Możesz uruchomić JupyterLab w kontenerze lub połączyć się przez VS Code Remote SSH bezpośrednio z edytora.

Czy można używać kilku GPU w jednym serwerze?

A100 80GB działa na hoście z obsługą NVLink do łączenia kart. Konfiguracje z kilkoma GPU są dostępne na zamówienie — zapytaj @rodionpilot.

Serwery GPU NVIDIA do AI

Wybierz kartę pod swoje obciążenie

RTX 4090

24 GB

GDDR6X

16 384 CUDA

82.6 TFLOPS FP16

Host: Ryzen 9 · 128 GB

2180 zł/mies.

RTX 5090

32 GB

GDDR7

21 760 CUDA

104.8 TFLOPS FP16

Host: Ryzen 9 · 192 GB

4120 zł/mies.

A100 80GB

80 GB

HBM2e

6 912 CUDA

312 TFLOPS FP16

Host: EPYC · 512 GB · NVLink

9220 zł/mies.

H100 PCIe