GPU: Nvidia, CUDA y monitoreo
La IA moderna vive de la GPU. Saber si está sana, disponible y bien asignada es tan importante como el modelo.
La cadena de software
- Driver Nvidia: habla con el hardware.
- CUDA: plataforma de cómputo paralelo en GPU.
- Bibliotecas: PyTorch, TensorRT, llama.cpp, Ollama.
Monitoreo con nvidia-smi
nvidia-smi # estado, VRAM, temperatura, uso watch -n 1 nvidia-smi # refrescar cada segundo
En WSL2 la ruta es /usr/lib/wsl/lib/nvidia-smi. Para dar GPU a un contenedor: docker run --gpus all ....
EN INT
la workstation tiene 2× RTX 5090. Vigilar VRAM, temperatura y uso evita que un modelo grande tumbe al otro. Siempre verifica la GPU antes de dar por bueno un despliegue.
Calificación
No hay comentarios por ahora.
para ser el primero en comentar.