Add network tag tests to QA
[ganeti-github.git] / INSTALL
1 Ganeti quick installation guide
2 ===============================
3
4 Please note that a more detailed installation procedure is described in
5 the :doc:`install`. Refer to it if you are setting up Ganeti the first time.
6 This quick installation guide is mainly meant as reference for experienced
7 users. A glossary of terms can be found in the :doc:`glossary`.
8
9
10 Software Requirements
11 ---------------------
12
13 .. highlight:: shell-example
14
15 Before installing, please verify that you have the following programs:
16
17 - `Xen Hypervisor <http://www.xen.org/>`_, version 3.0 or above, if
18   running on Xen
19 - `KVM Hypervisor <http://www.linux-kvm.org>`_, version 72 or above, if
20   running on KVM. In order to use advanced features, such as live
21   migration, virtio, etc, an even newer version is recommended (qemu-kvm
22   versions 0.11.X and above have shown good behavior).
23 - `DRBD <http://www.drbd.org/>`_, kernel module and userspace utils,
24   version 8.0.7 or above; note that Ganeti doesn't yet support version 8.4
25 - `RBD <http://ceph.newdream.net/>`_, kernel modules
26   (``rbd.ko``/``libceph.ko``) and userspace utils (``ceph-common``)
27 - `LVM2 <http://sourceware.org/lvm2/>`_
28 - `OpenSSH <http://www.openssh.com/portable.html>`_
29 - `bridge utilities <http://www.linuxfoundation.org/en/Net:Bridge>`_
30 - `iproute2 <http://www.linuxfoundation.org/en/Net:Iproute2>`_
31 - `arping <http://www.skbuff.net/iputils/>`_ (part of iputils)
32 - `ndisc6 <http://www.remlab.net/ndisc6/>`_ (if using IPv6)
33 - `Python <http://www.python.org/>`_, version 2.6 or above, not 3.0
34 - `Python OpenSSL bindings <http://pyopenssl.sourceforge.net/>`_
35 - `simplejson Python module <http://code.google.com/p/simplejson/>`_
36 - `pyparsing Python module <http://pyparsing.wikispaces.com/>`_, version
37   1.4.6 or above
38 - `pyinotify Python module <https://github.com/seb-m/pyinotify>`_
39 - `PycURL Python module <http://pycurl.sourceforge.net/>`_
40 - `socat <http://www.dest-unreach.org/socat/>`_, see :ref:`note
41   <socat-note>` below
42 - `Paramiko <http://www.lag.net/paramiko/>`_, if you want to use
43   ``ganeti-listrunner``
44 - `affinity Python module <http://pypi.python.org/pypi/affinity/0.1.0>`_,
45   optional python package for supporting CPU pinning under KVM
46 - `qemu-img <http://qemu.org/>`_, if you want to use ``ovfconverter``
47 - `fping <http://fping.sourceforge.net/>`_
48 - `Python IP address manipulation library
49   <http://code.google.com/p/ipaddr-py/>`_
50 - `Bitarray Python library <http://pypi.python.org/pypi/bitarray/>`_
51 - `GNU Make <http://www.gnu.org/software/make/>`_
52
53 These programs are supplied as part of most Linux distributions, so
54 usually they can be installed via the standard package manager. Also
55 many of them will already be installed on a standard machine. On
56 Debian/Ubuntu, you can use this command line to install all required
57 packages, except for RBD, DRBD and Xen::
58
59   $ apt-get install lvm2 ssh bridge-utils iproute iputils-arping make \
60                     ndisc6 python python-pyopenssl openssl \
61                     python-pyparsing python-simplejson python-bitarray \
62                     python-pyinotify python-pycurl python-ipaddr socat fping
63
64 If bitarray is missing it can be installed from easy-install::
65
66   $ easy_install bitarray
67
68 Or on newer distributions (eg. Debian Wheezy) the above becomes::
69
70   $ apt-get install lvm2 ssh bridge-utils iproute iputils-arping make \
71                     ndisc6 python python-openssl openssl \
72                     python-pyparsing python-simplejson python-bitarray \
73                     python-pyinotify python-pycurl python-ipaddr socat fping
74
75 Note that this does not install optional packages::
76
77   $ apt-get install python-paramiko python-affinity qemu-img
78
79 If some of the python packages are not available in your system,
80 you can try installing them using ``easy_install`` command.
81 For example::
82
83   $ apt-get install python-setuptools python-dev
84   $ cd / && sudo easy_install \
85             affinity \
86             bitarray \
87             ipaddr
88
89
90 On Fedora to install all required packages except RBD, DRBD and Xen::
91
92   $ yum install openssh openssh-clients bridge-utils iproute ndisc6 make \
93                 pyOpenSSL pyparsing python-simplejson python-inotify \
94                 python-lxm socat fping python-bitarray python-ipaddr
95
96 For optional packages use the command::
97
98   $ yum install python-paramiko python-affinity qemu-img
99
100 If you want to build from source, please see doc/devnotes.rst for more
101 dependencies.
102
103 .. _socat-note:
104 .. note::
105   Ganeti's import/export functionality uses ``socat`` with OpenSSL for
106   transferring data between nodes. By default, OpenSSL 0.9.8 and above
107   employ transparent compression of all data using zlib if supported by
108   both sides of a connection. In cases where a lot of data is
109   transferred, this can lead to an increased CPU usage. Additionally,
110   Ganeti already compresses all data using ``gzip`` where it makes sense
111   (for inter-cluster instance moves).
112
113   To remedey this situation, patches implementing a new ``socat`` option
114   for disabling OpenSSL compression have been contributed and will
115   likely be included in the next feature release. Until then, users or
116   distributions need to apply the patches on their own.
117
118   Ganeti will use the option if it's detected by the ``configure``
119   script; auto-detection can be disabled by explicitly passing
120   ``--enable-socat-compress`` (use the option to disable compression) or
121   ``--disable-socat-compress`` (don't use the option).
122
123   The patches and more information can be found on
124   http://www.dest-unreach.org/socat/contrib/socat-opensslcompress.html.
125
126 Haskell requirements
127 ~~~~~~~~~~~~~~~~~~~~
128
129 Starting with Ganeti 2.7, the Haskell GHC compiler and a few base
130 libraries are required in order to build Ganeti (but not to run and
131 deploy Ganeti on production machines). More specifically:
132
133 - `GHC <http://www.haskell.org/ghc/>`_ version 6.12 or higher
134 - or even better, `The Haskell Platform
135   <http://hackage.haskell.org/platform/>`_ which gives you a simple way
136   to bootstrap Haskell
137 - `json <http://hackage.haskell.org/package/json>`_, a JSON library
138 - `network <http://hackage.haskell.org/package/network>`_, a basic
139   network library
140 - `parallel <http://hackage.haskell.org/package/parallel>`_, a parallel
141   programming library (note: tested with up to version 3.x)
142 - `bytestring <http://hackage.haskell.org/package/bytestring>`_ and
143   `utf8-string <http://hackage.haskell.org/package/utf8-string>`_
144   libraries; these usually come with the GHC compiler
145 - `deepseq <http://hackage.haskell.org/package/deepseq>`_
146 - `curl <http://hackage.haskell.org/package/curl>`_, tested with
147   versions 1.3.4 and above
148
149 Some of these are also available as package in Debian/Ubuntu::
150
151   $ apt-get install ghc6 libghc6-json-dev libghc6-network-dev \
152                     libghc6-parallel-dev libghc6-deepseq-dev \
153                     libghc6-curl-dev
154
155 Or in newer versions of these distributions (using GHC 7.x)::
156
157   $ apt-get install ghc libghc-json-dev libghc-network-dev \
158                     libghc-parallel-dev libghc-deepseq-dev \
159                     libghc-utf8-string-dev libghc-curl-dev
160
161 In Fedora, some of them are available via packages as well::
162
163   $ yum install ghc ghc-json-devel ghc-network-devel \
164                     ghc-parallel-devel ghc-deepseq-devel
165
166 If using a distribution which does not provide them, first install
167 the Haskell platform. You can also install ``cabal`` manually::
168
169   $ apt-get install cabal-install
170   $ cabal update
171
172 Then install the additional libraries (only the ones not available in your
173 distribution packages) via ``cabal``::
174
175   $ cabal install json network parallel utf8-string curl
176
177 Haskell optional features
178 ~~~~~~~~~~~~~~~~~~~~~~~~~
179
180 Optionally, more functionality can be enabled if your build machine has
181 a few more Haskell libraries enabled: the ``ganeti-confd`` and
182 ``ganeti-luxid`` daemon (``--enable-confd``) and the monitoring daemon
183 (``--enable-mond``). The list of extra dependencies for these is:
184
185 - `hslogger <http://software.complete.org/hslogger>`_, version 1.1 and
186   above (note that Debian Squeeze only has version 1.0.9)
187 - `Crypto <http://hackage.haskell.org/package/Crypto>`_, tested with
188   version 4.2.4
189 - `text <http://hackage.haskell.org/package/text>`_
190 - `hinotify <http://hackage.haskell.org/package/hinotify>`_, tested with
191   version 0.3.2
192 - `regex-pcre <http://hackage.haskell.org/package/regex-pcre>`_,
193   bindings for the ``pcre`` library
194 - `attoparsec <http://hackage.haskell.org/package/attoparsec>`_
195 - `vector <http://hackage.haskell.org/package/vector>`_
196 - `snap-server` <http://hackage.haskell.org/package/snap-server>`_, version
197   0.8.1 and above.
198
199 These libraries are available in Debian Wheezy (but not in Squeeze), so you
200 can use either apt::
201
202   $ apt-get install libghc-hslogger-dev libghc-crypto-dev libghc-text-dev \
203                     libghc-hinotify-dev libghc-regex-pcre-dev \
204                     libghc-attoparsec-dev libghc-vector-dev \
205                     libghc-snap-server-dev
206
207 or ``cabal``, after installing a required non-Haskell dependency::
208
209   $ apt-get install libpcre3-dev libcurl4-openssl-dev
210   $ cabal install hslogger Crypto text hinotify==0.3.2 regex-pcre \
211                   attoparsec vector snap-server
212
213 to install them.
214
215 In case you still use ghc-6.12, note that ``cabal`` would automatically try to
216 install newer versions of some of the libraries snap-server depends on, that
217 cannot be compiled with ghc-6.12, so you have to install snap-server on its
218 own, esplicitly forcing the installation of compatible versions::
219
220   $ cabal install MonadCatchIO-transformers==0.2.2.0 mtl==2.0.1.0 \
221                   hashable==1.1.2.0 case-insensitive==0.3 parsec==3.0.1 \
222                   network==2.3 snap-server==0.8.1
223
224 The most recent Fedora doesn't provide ``crypto``, ``inotify``. So these
225 need to be installed using ``cabal``, if desired. The other packages can
226 be installed via ``yum``::
227
228   $ yum install ghc-hslogger-devel ghc-text-devel \
229                 ghc-regex-pcre-devel
230
231 .. _cabal-note:
232 .. note::
233   If one of the cabal packages fails to install due to unfulfilled
234   dependencies, you can try enabling symlinks in ``~/.cabal/config``.
235
236   Make sure that your ``~/.cabal/bin`` directory (or whatever else
237   is defined as ``bindir``) is in your ``PATH``.
238
239 Installation of the software
240 ----------------------------
241
242 To install, simply run the following command::
243
244   $ ./configure --localstatedir=/var --sysconfdir=/etc && \
245     make && \
246     make install
247
248 This will install the software under ``/usr/local``. You then need to
249 copy ``doc/examples/ganeti.initd`` to ``/etc/init.d/ganeti`` and
250 integrate it into your boot sequence (``chkconfig``, ``update-rc.d``,
251 etc.).
252
253
254 Cluster initialisation
255 ----------------------
256
257 Before initialising the cluster, on each node you need to create the
258 following directories:
259
260 - ``/etc/ganeti``
261 - ``/var/lib/ganeti``
262 - ``/var/log/ganeti``
263 - ``/srv/ganeti``
264 - ``/srv/ganeti/os``
265 - ``/srv/ganeti/export``
266
267 After this, use ``gnt-cluster init``.
268
269 .. vim: set textwidth=72 syntax=rst :
270 .. Local Variables:
271 .. mode: rst
272 .. fill-column: 72
273 .. End: