Clarify that cmdlib/ must be removed downgrading
[ganeti-github.git] / UPGRADE
1 Upgrade notes
2 =============
3
4 .. highlight:: shell-example
5
6 This document details the steps needed to upgrade a cluster to newer versions
7 of Ganeti.
8
9 As a general rule the node daemons need to be restarted after each software
10 upgrade; if using the provided example init.d script, this means running the
11 following command on all nodes::
12
13     $ /etc/init.d/ganeti restart
14
15
16 2.1 and above
17 -------------
18
19 Starting with Ganeti 2.0, upgrades between revisions (e.g. 2.1.0 to 2.1.1)
20 should not need manual intervention. As a safety measure, minor releases (e.g.
21 2.1.3 to 2.2.0) require the ``cfgupgrade`` command for changing the
22 configuration version. Below you find the steps necessary to upgrade between
23 minor releases.
24
25 To run commands on all nodes, the `distributed shell (dsh)
26 <http://www.netfort.gr.jp/~dancer/software/dsh.html.en>`_ can be used, e.g.
27 ``dsh -M -F 8 -f /var/lib/ganeti/ssconf_online_nodes gnt-cluster --version``.
28
29 #. Ensure no jobs are running (master node only)::
30
31     $ gnt-job list
32
33 #. Pause the watcher for an hour (master node only)::
34
35     $ gnt-cluster watcher pause 1h
36
37 #. Stop all daemons on all nodes::
38
39     $ /etc/init.d/ganeti stop
40
41 #. Backup old configuration (master node only)::
42
43     $ tar czf /var/lib/ganeti-$(date +\%FT\%T).tar.gz -C /var/lib ganeti
44
45 #. Install new Ganeti version on all nodes
46 #. Run cfgupgrade on the master node::
47
48     $ /usr/lib/ganeti/tools/cfgupgrade --verbose --dry-run
49     $ /usr/lib/ganeti/tools/cfgupgrade --verbose
50
51    (``cfgupgrade`` supports a number of parameters, run it with
52    ``--help`` for more information)
53
54 #. Upgrade the directory permissions on all nodes::
55
56     $ /usr/lib/ganeti/ensure-dirs --full-run
57
58 #. Create the (missing) required users and make users part of the required
59    groups on all nodes::
60
61     $ /usr/lib/ganeti/tools/users-setup
62
63 #. Restart daemons on all nodes::
64
65     $ /etc/init.d/ganeti restart
66
67 #. Re-distribute configuration (master node only)::
68
69     $ gnt-cluster redist-conf
70
71 #. If you use file storage, check that the ``/etc/ganeti/file-storage-paths``
72    is correct on all nodes. For security reasons it's not copied
73    automatically, but it can be copied manually via::
74
75    $ gnt-cluster copyfile /etc/ganeti/file-storage-paths
76
77 #. Restart daemons again on all nodes::
78
79     $ /etc/init.d/ganeti restart
80
81 #. Enable the watcher again (master node only)::
82
83     $ gnt-cluster watcher continue
84
85 #. Verify cluster (master node only)::
86
87     $ gnt-cluster verify
88
89 Reverting an upgrade
90 ~~~~~~~~~~~~~~~~~~~~
91
92 For going back between revisions (e.g. 2.1.1 to 2.1.0) no manual
93 intervention is required, as for upgrades.
94
95 Starting from version 2.8, ``cfgupgrade`` supports ``--downgrade``
96 option to bring the configuration back to the previous stable version.
97 This is useful if you upgrade Ganeti and after some time you run into
98 problems with the new version. You can downgrade the configuration
99 without losing the changes made since the upgrade. Any feature not
100 supported by the old version will be removed from the configuration, of
101 course, but you get a warning about it. If there is any new feature and
102 you haven't changed from its default value, you don't have to worry
103 about it, as it will get the same value whenever you'll upgrade again.
104
105 The procedure is similar to upgrading, but please notice that you have to
106 revert the configuration **before** installing the old version.
107
108 #. Ensure no jobs are running (master node only)::
109
110     $ gnt-job list
111
112 #. Pause the watcher for an hour (master node only)::
113
114     $ gnt-cluster watcher pause 1h
115
116 #. Stop all daemons on all nodes::
117
118     $ /etc/init.d/ganeti stop
119
120 #. Backup old configuration (master node only)::
121
122     $ tar czf /var/lib/ganeti-$(date +\%FT\%T).tar.gz -C /var/lib ganeti
123
124 #. Run cfgupgrade on the master node::
125
126     $ /usr/lib/ganeti/tools/cfgupgrade --verbose --downgrade --dry-run
127     $ /usr/lib/ganeti/tools/cfgupgrade --verbose --downgrade
128
129    You may want to copy all the messages about features that have been
130    removed during the downgrade, in case you want to restore them when
131    upgrading again.
132
133 #. Install the old Ganeti version on all nodes
134
135    NB: in Ganeti 2.8, the ``cmdlib.py`` file was split into a series of files
136    contained in the ``cmdlib`` directory. If Ganeti is installed from sources
137    and not from a package, while downgrading Ganeti to a pre-2.8
138    version it is important to remember to remove the ``cmdlib`` directory
139    from the directory containing the Ganeti python files (which usually is
140    ``${PREFIX}/lib/python${VERSION}/dist-packages/ganeti``).
141    A simpler upgrade/downgrade procedure will be made available in future
142    versions of Ganeti.
143
144 #. Restart daemons on all nodes::
145
146     $ /etc/init.d/ganeti restart
147
148 #. Re-distribute configuration (master node only)::
149
150     $ gnt-cluster redist-conf
151
152 #. Restart daemons again on all nodes::
153
154     $ /etc/init.d/ganeti restart
155
156 #. Enable the watcher again (master node only)::
157
158     $ gnt-cluster watcher continue
159
160 #. Verify cluster (master node only)::
161
162     $ gnt-cluster verify
163
164
165 2.0 releases
166 ------------
167
168 2.0.3 to 2.0.4
169 ~~~~~~~~~~~~~~
170
171 No changes needed except restarting the daemon; but rollback to 2.0.3 might
172 require configuration editing.
173
174 If you're using Xen-HVM instances, please double-check the network
175 configuration (``nic_type`` parameter) as the defaults might have changed:
176 2.0.4 adds any missing configuration items and depending on the version of the
177 software the cluster has been installed with, some new keys might have been
178 added.
179
180 2.0.1 to 2.0.2/2.0.3
181 ~~~~~~~~~~~~~~~~~~~~
182
183 Between 2.0.1 and 2.0.2 there have been some changes in the handling of block
184 devices, which can cause some issues. 2.0.3 was then released which adds two
185 new options/commands to fix this issue.
186
187 If you use DRBD-type instances and see problems in instance start or
188 activate-disks with messages from DRBD about "lower device too small" or
189 similar, it is recoomended to:
190
191 #. Run ``gnt-instance activate-disks --ignore-size $instance`` for each
192    of the affected instances
193 #. Then run ``gnt-cluster repair-disk-sizes`` which will check that
194    instances have the correct disk sizes
195
196 1.2 to 2.0
197 ----------
198
199 Prerequisites:
200
201 - Ganeti 1.2.7 is currently installed
202 - All instances have been migrated from DRBD 0.7 to DRBD 8.x (i.e. no
203   ``remote_raid1`` disk template)
204 - Upgrade to Ganeti 2.0.0~rc2 or later (~rc1 and earlier don't have the needed
205   upgrade tool)
206
207 In the below steps, replace :file:`/var/lib` with ``$libdir`` if Ganeti was not
208 installed with this prefix (e.g. :file:`/usr/local/var`). Same for
209 :file:`/usr/lib`.
210
211 Execution (all steps are required in the order given):
212
213 #. Make a backup of the current configuration, for safety::
214
215     $ cp -a /var/lib/ganeti /var/lib/ganeti-1.2.backup
216
217 #. Stop all instances::
218
219     $ gnt-instance stop --all
220
221 #. Make sure no DRBD device are in use, the following command should show no
222    active minors::
223
224     $ gnt-cluster command grep cs: /proc/drbd | grep -v cs:Unconf
225
226 #. Stop the node daemons and rapi daemon on all nodes (note: should be logged
227    in not via the cluster name, but the master node name, as the command below
228    will remove the cluster ip from the master node)::
229
230     $ gnt-cluster command /etc/init.d/ganeti stop
231
232 #. Install the new software on all nodes, either from packaging (if available)
233    or from sources; the master daemon will not start but give error messages
234    about wrong configuration file, which is normal
235 #. Upgrade the configuration file::
236
237     $ /usr/lib/ganeti/tools/cfgupgrade12 -v --dry-run
238     $ /usr/lib/ganeti/tools/cfgupgrade12 -v
239
240 #. Make sure ``ganeti-noded`` is running on all nodes (and start it if
241    not)
242 #. Start the master daemon::
243
244     $ ganeti-masterd
245
246 #. Check that a simple node-list works::
247
248     $ gnt-node list
249
250 #. Redistribute updated configuration to all nodes::
251
252     $ gnt-cluster redist-conf
253     $ gnt-cluster copyfile /var/lib/ganeti/known_hosts
254
255 #. Optional: if needed, install RAPI-specific certificates under
256    :file:`/var/lib/ganeti/rapi.pem` and run::
257
258     $ gnt-cluster copyfile /var/lib/ganeti/rapi.pem
259
260 #. Run a cluster verify, this should show no problems::
261
262     $ gnt-cluster verify
263
264 #. Remove some obsolete files::
265
266     $ gnt-cluster command rm /var/lib/ganeti/ssconf_node_pass
267     $ gnt-cluster command rm /var/lib/ganeti/ssconf_hypervisor
268
269 #. Update the xen pvm (if this was a pvm cluster) setting for 1.2
270    compatibility::
271
272     $ gnt-cluster modify -H xen-pvm:root_path=/dev/sda
273
274 #. Depending on your setup, you might also want to reset the initrd parameter::
275
276     $ gnt-cluster modify -H xen-pvm:initrd_path=/boot/initrd-2.6-xenU
277
278 #. Reset the instance autobalance setting to default::
279
280     $ for i in $(gnt-instance list -o name --no-headers); do \
281        gnt-instance modify -B auto_balance=default $i; \
282       done
283
284 #. Optional: start the RAPI demon::
285
286     $ ganeti-rapi
287
288 #. Restart instances::
289
290     $ gnt-instance start --force-multiple --all
291
292 At this point, ``gnt-cluster verify`` should show no errors and the migration
293 is complete.
294
295 1.2 releases
296 ------------
297
298 1.2.4 to any other higher 1.2 version
299 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
300
301 No changes needed. Rollback will usually require manual edit of the
302 configuration file.
303
304 1.2.3 to 1.2.4
305 ~~~~~~~~~~~~~~
306
307 No changes needed. Note that going back from 1.2.4 to 1.2.3 will require manual
308 edit of the configuration file (since we added some HVM-related new
309 attributes).
310
311 1.2.2 to 1.2.3
312 ~~~~~~~~~~~~~~
313
314 No changes needed. Note that the drbd7-to-8 upgrade tool does a disk format
315 change for the DRBD metadata, so in theory this might be **risky**. It is
316 advised to have (good) backups before doing the upgrade.
317
318 1.2.1 to 1.2.2
319 ~~~~~~~~~~~~~~
320
321 No changes needed.
322
323 1.2.0 to 1.2.1
324 ~~~~~~~~~~~~~~
325
326 No changes needed. Only some bugfixes and new additions that don't affect
327 existing clusters.
328
329 1.2.0 beta 3 to 1.2.0
330 ~~~~~~~~~~~~~~~~~~~~~
331
332 No changes needed.
333
334 1.2.0 beta 2 to beta 3
335 ~~~~~~~~~~~~~~~~~~~~~~
336
337 No changes needed. A new version of the debian-etch-instance OS (0.3) has been
338 released, but upgrading it is not required.
339
340 1.2.0 beta 1 to beta 2
341 ~~~~~~~~~~~~~~~~~~~~~~
342
343 Beta 2 switched the config file format to JSON. Steps to upgrade:
344
345 #. Stop the daemons (``/etc/init.d/ganeti stop``) on all nodes
346 #. Disable the cron job (default is :file:`/etc/cron.d/ganeti`)
347 #. Install the new version
348 #. Make a backup copy of the config file
349 #. Upgrade the config file using the following command::
350
351     $ /usr/share/ganeti/cfgupgrade --verbose /var/lib/ganeti/config.data
352
353 #. Start the daemons and run ``gnt-cluster info``, ``gnt-node list`` and
354    ``gnt-instance list`` to check if the upgrade process finished successfully
355
356 The OS definition also need to be upgraded. There is a new version of the
357 debian-etch-instance OS (0.2) that goes along with beta 2.
358
359 .. vim: set textwidth=72 :
360 .. Local Variables:
361 .. mode: rst
362 .. fill-column: 72
363 .. End: