cmdlib: Extract instance operation functionality
[ganeti-github.git] / INSTALL
1 Ganeti quick installation guide
2 ===============================
3
4 Please note that a more detailed installation procedure is described in
5 the :doc:`install`. A glossary of terms can be found in the
6 :doc:`glossary`.
7
8
9 Software Requirements
10 ---------------------
11
12 .. highlight:: shell-example
13
14 Before installing, please verify that you have the following programs:
15
16 - `Xen Hypervisor <http://www.xen.org/>`_, version 3.0 or above, if
17   running on Xen
18 - `KVM Hypervisor <http://www.linux-kvm.org>`_, version 72 or above, if
19   running on KVM. In order to use advanced features, such as live
20   migration, virtio, etc, an even newer version is recommended (qemu-kvm
21   versions 0.11.X and above have shown good behavior).
22 - `DRBD <http://www.drbd.org/>`_, kernel module and userspace utils,
23   version 8.0.7 or above; note that Ganeti doesn't yet support version 8.4
24 - `RBD <http://ceph.newdream.net/>`_, kernel modules
25   (``rbd.ko``/``libceph.ko``) and userspace utils (``ceph-common``)
26 - `LVM2 <http://sourceware.org/lvm2/>`_
27 - `OpenSSH <http://www.openssh.com/portable.html>`_
28 - `bridge utilities <http://www.linuxfoundation.org/en/Net:Bridge>`_
29 - `iproute2 <http://www.linuxfoundation.org/en/Net:Iproute2>`_
30 - `arping <http://www.skbuff.net/iputils/>`_ (part of iputils)
31 - `ndisc6 <http://www.remlab.net/ndisc6/>`_ (if using IPv6)
32 - `Python <http://www.python.org/>`_, version 2.6 or above, not 3.0
33 - `Python OpenSSL bindings <http://pyopenssl.sourceforge.net/>`_
34 - `simplejson Python module <http://code.google.com/p/simplejson/>`_
35 - `pyparsing Python module <http://pyparsing.wikispaces.com/>`_, version
36   1.4.6 or above
37 - `pyinotify Python module <https://github.com/seb-m/pyinotify>`_
38 - `PycURL Python module <http://pycurl.sourceforge.net/>`_
39 - `socat <http://www.dest-unreach.org/socat/>`_, see :ref:`note
40   <socat-note>` below
41 - `Paramiko <http://www.lag.net/paramiko/>`_, if you want to use
42   ``ganeti-listrunner``
43 - `affinity Python module <http://pypi.python.org/pypi/affinity/0.1.0>`_,
44   optional python package for supporting CPU pinning under KVM
45 - `qemu-img <http://qemu.org/>`_, if you want to use ``ovfconverter``
46 - `fping <http://fping.sourceforge.net/>`_
47 - `Python IP address manipulation library
48   <http://code.google.com/p/ipaddr-py/>`_
49 - `Bitarray Python library <http://pypi.python.org/pypi/bitarray/>`_
50
51 These programs are supplied as part of most Linux distributions, so
52 usually they can be installed via the standard package manager. Also
53 many of them will already be installed on a standard machine. On
54 Debian/Ubuntu, you can use this command line to install all required
55 packages, except for RBD, DRBD and Xen::
56
57   $ apt-get install lvm2 ssh bridge-utils iproute iputils-arping \
58                     ndisc6 python python-pyopenssl openssl \
59                     python-pyparsing python-simplejson python-bitarray \
60                     python-pyinotify python-pycurl python-ipaddr socat fping
61
62 If bitarray is missing it can be installed from easy-install::
63
64   $ easy_install bitarray
65
66 Or on newer distributions (eg. Debian Wheezy) the above becomes::
67
68   $ apt-get install lvm2 ssh bridge-utils iproute iputils-arping \
69                     ndisc6 python python-openssl openssl \
70                     python-pyparsing python-simplejson python-bitarray \
71                     python-pyinotify python-pycurl python-ipaddr socat fping
72
73 Note that this does not install optional packages::
74
75   $ apt-get install python-paramiko python-affinity qemu-img
76
77 If some of the python packages are not available in your system,
78 you can try installing them using ``easy_install`` command.
79 For example::
80
81   $ apt-get install python-setuptools python-dev
82   $ cd / && sudo easy_install \
83             affinity \
84             bitarray \
85             ipaddr \
86
87
88 On Fedora to install all required packages except RBD, DRBD and Xen::
89
90   $ yum install openssh openssh-clients bridge-utils iproute ndisc6 \
91                 pyOpenSSL pyparsing python-simplejson python-inotify \
92                 python-lxm socat fping python-bitarray python-ipaddr
93
94 For optional packages use the command::
95
96   $ yum install python-paramiko python-affinity qemu-img
97
98 If you want to build from source, please see doc/devnotes.rst for more
99 dependencies.
100
101 .. _socat-note:
102 .. note::
103   Ganeti's import/export functionality uses ``socat`` with OpenSSL for
104   transferring data between nodes. By default, OpenSSL 0.9.8 and above
105   employ transparent compression of all data using zlib if supported by
106   both sides of a connection. In cases where a lot of data is
107   transferred, this can lead to an increased CPU usage. Additionally,
108   Ganeti already compresses all data using ``gzip`` where it makes sense
109   (for inter-cluster instance moves).
110
111   To remedey this situation, patches implementing a new ``socat`` option
112   for disabling OpenSSL compression have been contributed and will
113   likely be included in the next feature release. Until then, users or
114   distributions need to apply the patches on their own.
115
116   Ganeti will use the option if it's detected by the ``configure``
117   script; auto-detection can be disabled by explicitly passing
118   ``--enable-socat-compress`` (use the option to disable compression) or
119   ``--disable-socat-compress`` (don't use the option).
120
121   The patches and more information can be found on
122   http://www.dest-unreach.org/socat/contrib/socat-opensslcompress.html.
123
124 Haskell requirements
125 ~~~~~~~~~~~~~~~~~~~~
126
127 Starting with Ganeti 2.7, the Haskell GHC compiler and a few base
128 libraries are required in order to build Ganeti (but not to run and
129 deploy Ganeti on production machines). More specifically:
130
131 - `GHC <http://www.haskell.org/ghc/>`_ version 6.12 or higher
132 - or even better, `The Haskell Platform
133   <http://hackage.haskell.org/platform/>`_ which gives you a simple way
134   to bootstrap Haskell
135 - `json <http://hackage.haskell.org/package/json>`_, a JSON library
136 - `network <http://hackage.haskell.org/package/network>`_, a basic
137   network library
138 - `parallel <http://hackage.haskell.org/package/parallel>`_, a parallel
139   programming library (note: tested with up to version 3.x)
140 - `bytestring <http://hackage.haskell.org/package/bytestring>`_ and
141   `utf8-string <http://hackage.haskell.org/package/utf8-string>`_
142   libraries; these usually come with the GHC compiler
143 - `deepseq <http://hackage.haskell.org/package/deepseq>`_
144 - `curl <http://hackage.haskell.org/package/curl>`_, tested with
145   versions 1.3.4 and above
146
147 Some of these are also available as package in Debian/Ubuntu::
148
149   $ apt-get install ghc6 libghc6-json-dev libghc6-network-dev \
150                     libghc6-parallel-dev libghc6-deepseq-dev \
151                     libghc6-curl-dev
152
153 Or in newer versions of these distributions (using GHC 7.x)::
154
155   $ apt-get install ghc libghc-json-dev libghc-network-dev \
156                     libghc-parallel-dev libghc-deepseq-dev \
157                     libghc-utf8-string-dev libghc-curl-dev
158
159 In Fedora, some of them are available via packages as well::
160
161   $ yum install ghc ghc-json-devel ghc-network-devel \
162                     ghc-parallel-devel ghc-deepseq-devel
163
164 If using a distribution which does not provide them, first install
165 the Haskell platform. You can also install ``cabal`` manually::
166
167   $ apt-get install cabal-install
168
169 Then install the additional libraries via
170 ``cabal``::
171
172   $ cabal install json network parallel utf8-string curl
173
174 Haskell optional features
175 ~~~~~~~~~~~~~~~~~~~~~~~~~
176
177 Optionally, more functionality can be enabled if your build machine has
178 a few more Haskell libraries enabled: the ``ganeti-confd`` daemon
179 (``--enable-confd``) and the monitoring daemon
180 (``--enable-mond``). The list of extra dependencies for these is:
181
182 - `hslogger <http://software.complete.org/hslogger>`_, version 1.1 and
183   above (note that Debian Squeeze only has version 1.0.9)
184 - `Crypto <http://hackage.haskell.org/package/Crypto>`_, tested with
185   version 4.2.4
186 - `text <http://hackage.haskell.org/package/text>`_
187 - `hinotify <http://hackage.haskell.org/package/hinotify>`_, tested with
188   version 0.3.2
189 - `regex-pcre <http://hackage.haskell.org/package/regex-pcre>`_,
190   bindings for the ``pcre`` library
191 - `attoparsec <http://hackage.haskell.org/package/attoparsec>`_
192 - `vector <http://hackage.haskell.org/package/vector>`_
193 - `snap-server` <http://hackage.haskell.org/package/snap-server>`_, version
194   0.8.1 and above.
195
196 These libraries are available in Debian Wheezy (but not in Squeeze), so you
197 can use either apt::
198
199   $ apt-get install libghc-hslogger-dev libghc-crypto-dev libghc-text-dev \
200                     libghc-hinotify-dev libghc-regex-pcre-dev \
201                     libghc-attoparsec-dev libghc-vector-dev \
202                     libghc-snap-server-dev
203
204 or ``cabal``, after installing a required non-Haskell dependency::
205
206   $ apt-get install libpcre3-dev
207   $ cabal install hslogger Crypto text hinotify==0.3.2 regex-pcre \
208                   attoparsec vector snap-server
209
210 to install them.
211
212 In case you still use ghc-6.12, note that ``cabal`` would automatically try to
213 install newer versions of some of the libraries snap-server depends on, that
214 cannot be compiled with ghc-6.12, so you have to install snap-server on its
215 own, esplicitly forcing the installation of compatible versions::
216
217   $ cabal install MonadCatchIO-transformers==0.2.2.0 mtl==2.0.1.0 \
218                   hashable==1.1.2.0 case-insensitive==0.3 parsec==3.0.1 \
219                   network==2.3 snap-server==0.8.1
220
221 The most recent Fedora doesn't provide ``crypto``, ``inotify``. So these
222 need to be installed using ``cabal``, if desired. The other packages can
223 be installed via ``yum``::
224
225   $ yum install ghc-hslogger-devel ghc-text-devel \
226                 ghc-regex-pcre-devel
227
228 .. _cabal-note:
229 .. note::
230   If one of the cabal packages fails to install due to unfulfilled
231   dependencies, you can try enabling symlinks in ``~/.cabal/config``.
232
233   Make sure that your ``~/.cabal/bin`` directory (or whatever else
234   is defined as ``bindir``) is in your ``PATH``.
235
236 Installation of the software
237 ----------------------------
238
239 To install, simply run the following command::
240
241   $ ./configure --localstatedir=/var --sysconfdir=/etc && \
242     make && \
243     make install
244
245 This will install the software under ``/usr/local``. You then need to
246 copy ``doc/examples/ganeti.initd`` to ``/etc/init.d/ganeti`` and
247 integrate it into your boot sequence (``chkconfig``, ``update-rc.d``,
248 etc.).
249
250
251 Cluster initialisation
252 ----------------------
253
254 Before initialising the cluster, on each node you need to create the
255 following directories:
256
257 - ``/etc/ganeti``
258 - ``/var/lib/ganeti``
259 - ``/var/log/ganeti``
260 - ``/srv/ganeti``
261 - ``/srv/ganeti/os``
262 - ``/srv/ganeti/export``
263
264 After this, use ``gnt-cluster init``.
265
266 .. vim: set textwidth=72 syntax=rst :
267 .. Local Variables:
268 .. mode: rst
269 .. fill-column: 72
270 .. End: