Keras 설치

Published by onesixx on

https://appsilon.com/ship-recognition-in-satellite-imagery-part-i/
https://appsilon.com/ship-recognition-in-satellite-imagery-part-ii/
Posted by Michal Maj  16 January, 2018

개요

What is TensorFlow ?

복잡한 계산을 여러개의 GPU/ CPU가 수행하게 하는 ML의 Open-source 라이브러리
by Google Brain Team.

What is Keras ?

여러 back-end들(TensorFlow, CNTK, or Theano) 위에서 동작할수 있는 Neural Networks API.
CNN, RNN같은 어려운 model을 쉽게 build할 수 있게 해준다.

CPU version

Keras 패키지에서 install_keras()를 통해 설치한다.

R
R
Ubuntu

설치시 에러 처리 (for mac)

The script wheel is installed in ‘/Users/onesixx/.virtualenvs/r-reticulate/bin’ which is not on PATH.

R

HDF5 for Python — The h5py package is a Pythonic interface to the HDF5 binary data format. 

Shell

GPU version

GPU를 사용하기 위해서,

R
R

GPU 설치전 사전 진행사항

https://www.cyberciti.biz/faq/linux-tell-which-graphics-vga-card-installed/
https://www.tensorflow.org/install/source#linux

Hardware requirements

NVIDIA® GPU card with CUDA® Compute Capability 3.5 or higher.
CUDA-enabled GPU cards에서 확인

ex> GeForce GTX 1080 / 8GB

설치된 GPU 확인

GPU Hardware 확인 (by PCI 아이템 리스트)

pci 리스트를 업데이트하고, 리스트를 읽어서 VGA compatible controller를 찾아보면,

Shell

찾은 GPU의 ID를 이용해서, 해당 카드의 세부정보를 찾아보면,

Shell

GPU driver 확인

Shell
Shell

Software requirements

Tutorial: GeForce GTX 1080Ti GPU NVIDIA Driver Installation in Ubuntu 18.04 (2019)
https://www.tensorflow.org/install/gpu#ubuntu_1604_cuda_10

ex> UBUNTU 16.04 , CUDA 10.0

1. Nvidia GPU driver 설치 (재설치/Upgrade)

1. 설치된 이전 NVIDIA 드라이버 제거

Shell

2. repository PPA (Personal Package Archives) 추가후, apt 업데이트

Shell
repository를 추가

3. NVIDIA 관련 드라이버 확인후, 적합한 NVIDIA driver 와 setting확인툴 설치후,
적용을 위해 Reboot . (추천 버전은 nvidia-driver-418)

Shell
드라이버 설치

4. 드라이버 설치 확인하고, 드라이버의 상세정보 확인

Shell
nvidia-smi : GPU 사용량, 온도, 사용 PROCESS 정보들을 한번에 볼 수 있다
cat /proc/driver/nvidia/gpus/{tab}/information
Shell

2. CUDA 관련 설치 (CUDA Toolkit/ CUPTI/cuDNN/ TensorRT)

  • CUDA® Toolkit —TensorFlow supports CUDA 10.0 (TensorFlow >= 1.13.0)
https://tensorflow.rstudio.com/tools/local_gpu.html
https://www.tensorflow.org/install/install_linux#nvidia_requirements_to_run_tensorflow_with_gpu_support

현재 CUDA 설치 확인

Shell
설치확인

Downgrade cuda 10.1 to 10.0

만약 버전이 10.0이 아인면, downgrade.
TensorFlow 최신버전이 아직 CUDA 10.1을 지원하지 않는다.

https://www.tensorflow.org/install/gpu
Shell
설치확인

NVIDIA CUDA network repository installation package 설치

Shell

Add HTTPS support for apt-key

Shell
설치확인

NVIDIA Machine Learning network repository 설치

Shell
설치확인

CUDA Toolkit v10.0 와 CUPTI, cuDNN v7.x 설치

CUDA Toolkit을 설치한다.
CUPTI(CUDA Profiling Tools Interface)는 CUDA Toolkit 설치시 같이 설치되고, Nvidia Driver도 설치된다.
cuDNN(CUDA® Deep Neural Network library)

Shell
설치확인

TensorRT 설치

위에서 libcudnn7 가 제대로 설치된 후, TensorRT설치한다.

Shell
설치확인

환경변수 정의 – ENVIRONMENT VARIABLES

  • CUDA HOME
  • CUDA binary 와 CUPTI 의 binary 경로
  • PATH 추가

기본

Shell
설치확인

RStudio Server – MULTI-USER

기본적으로 bash startup file (/etc/profile) 에 정의하여 모든 사용자에 동일하게 적용해야하지만,
RStudio Server를 활용하는 경우, RStudioServer가 R 세션에 대해 system profile 스크립트를 실행하지 않기 때문에, RStudio 설정파일(/etc/rstudio/rserver.conf )에 라이브러리경로를 정의한다.

R
/etc/rstudio/rserver.conf

CUDA Home과 PATH 는 /usr/lib/R/etc/Rprofile.site 활용

R
/usr/lib/R/etc/Rprofile.site

* TensorFlow 설치 for all user  multi-user installation 섹션 참고

SINGLE-USER

기본적으로 bash startup file ( ~/.profile) 에 정의한고, 적용을 위해 reboot한다.
(물론  ~/.bash_profile 이나 ~/.bash_login  이 있으면 ~/.profile을 읽지 않기 때문에 해당 파일이 있는지도 확인해야한다.  ~/.bashrc 류는 Terminal 세션만 적용되지만, ~/.profile은 desktop application(RStudio)까지 읽어서 사용하므로 ~/.profile을 사용한다.)

R
~/.profile

CUDA Home과 PATH 는 ~/.Rprofile 활용

R
~/.Rprofile

* <참고> 설치 packages

cuda-10-0
cuda-command-line-tools-10-0
cuda-compiler-10-0
cuda-cublas-10-0
cuda-cublas-dev-10-0
cuda-cudart-10-0
cuda-cudart-dev-10-0
cuda-cufft-10-0
cuda-cufft-dev-10-0
cuda-cuobjdump-10-0
cuda-cupti-10-0
cuda-curand-10-0
cuda-curand-dev-10-0
cuda-cusolver-10-0
cuda-cusolver-dev-10-0
cuda-cusparse-10-0
cuda-cusparse-dev-10-0
cuda-demo-suite-10-0
cuda-documentation-10-0

cuda-driver-dev-10-0
cuda-drivers 418.87.00-1

cuda-gdb-10-0
cuda-gpu-library-advisor-10-0
cuda-libraries-10-0
cuda-libraries-dev-10-0
cuda-license-10-0
cuda-memcheck-10-0
cuda-misc-headers-10-0
cuda-npp-10-0
cuda-npp-dev-10-0
cuda-nsight-10-0
cuda-nsight-compute-10-0
cuda-nvcc-10-0
cuda-nvdisasm-10-0
cuda-nvgraph-10-0
cuda-nvgraph-dev-10-0
cuda-nvjpeg-10-0
cuda-nvjpeg-dev-10-0
cuda-nvml-dev-10-0
cuda-nvprof-10-0
cuda-nvprune-10-0
cuda-nvrtc-10-0
cuda-nvrtc-dev-10-0
cuda-nvtx-10-0
cuda-nvvp-10-0
cuda-runtime-10-0
cuda-samples-10-0
cuda-toolkit-10-0
cuda-tools-10-0
cuda-visual-tools-10-0

libcuda1-418
nvidia-418
nvidia-418-dev
nvidia-modprobe
nvidia-opencl-icd-418
nvidia-settings

libcudnn7 7.6.2.24-1+cuda10.0
libcudnn7-dev 7.6.2.24-1+cuda10.0
Categories: DL

onesixx

Blog Owner

Leave a Reply

Your email address will not be published.