Do not add a new Inotify watchers on timer
[ganeti-github.git] / man / hbal.rst
1 HBAL(1) Ganeti | Version @GANETI_VERSION@
2 =========================================
3
4 NAME
5 ----
6
7 hbal \- Cluster balancer for Ganeti
8
9 SYNOPSIS
10 --------
11
12 **hbal** {backend options...} [algorithm options...] [reporting options...]
13
14 **hbal** \--version
15
16
17 Backend options:
18
19 { **-m** *cluster* | **-L[** *path* **] [-X]** | **-t** *data-file* |
20 **-I** *path* }
21
22 Algorithm options:
23
24 **[ \--max-cpu *cpu-ratio* ]**
25 **[ \--min-disk *disk-ratio* ]**
26 **[ -l *limit* ]**
27 **[ -e *score* ]**
28 **[ -g *delta* ]** **[ \--min-gain-limit *threshold* ]**
29 **[ -O *name...* ]**
30 **[ \--no-disk-moves ]**
31 **[ \--no-instance-moves ]**
32 **[ -U *util-file* ]**
33 **[ \--ignore-dynu ]**
34 **[ \--ignore-soft-errors ]**
35 **[ \--mond *yes|no* ]**
36 **[ \--mond-xen ]**
37 **[ \--exit-on-missing-mond-data ]**
38 **[ \--evac-mode ]**
39 **[ \--restricted-migration ]**
40 **[ \--select-instances *inst...* ]**
41 **[ \--exclude-instances *inst...* ]**
42
43 Reporting options:
44
45 **[ -C[ *file* ] ]**
46 **[ -p[ *fields* ] ]**
47 **[ \--print-instances ]**
48 **[ -S *file* ]**
49 **[ -v... | -q ]**
50
51
52 DESCRIPTION
53 -----------
54
55 hbal is a cluster balancer that looks at the current state of the
56 cluster (nodes with their total and free disk, memory, etc.) and
57 instance placement and computes a series of steps designed to bring
58 the cluster into a better state.
59
60 The algorithm used is designed to be stable (i.e. it will give you the
61 same results when restarting it from the middle of the solution) and
62 reasonably fast. It is not, however, designed to be a perfect algorithm:
63 it is possible to make it go into a corner from which it can find no
64 improvement, because it looks only one "step" ahead.
65
66 The program accesses the cluster state via Rapi or Luxi. It also
67 requests data over the network from all MonDs with the --mond option.
68 Currently it uses only data produced by CPUload collector.
69
70 By default, the program will show the solution incrementally as it is
71 computed, in a somewhat cryptic format; for getting the actual Ganeti
72 command list, use the **-C** option.
73
74 ALGORITHM
75 ~~~~~~~~~
76
77 The program works in independent steps; at each step, we compute the
78 best instance move that lowers the cluster score.
79
80 The possible move type for an instance are combinations of
81 failover/migrate and replace-disks such that we change one of the
82 instance nodes, and the other one remains (but possibly with changed
83 role, e.g. from primary it becomes secondary). The list is:
84
85 - failover (f)
86 - replace secondary (r)
87 - replace primary, a composite move (f, r, f)
88 - failover and replace secondary, also composite (f, r)
89 - replace secondary and failover, also composite (r, f)
90
91 We don't do the only remaining possibility of replacing both nodes
92 (r,f,r,f or the equivalent f,r,f,r) since these move needs an
93 exhaustive search over both candidate primary and secondary nodes, and
94 is O(n*n) in the number of nodes. Furthermore, it doesn't seems to
95 give better scores but will result in more disk replacements.
96
97 PLACEMENT RESTRICTIONS
98 ~~~~~~~~~~~~~~~~~~~~~~
99
100 At each step, we prevent an instance move if it would cause:
101
102 - a node to go into N+1 failure state
103 - an instance to move onto an offline node (offline nodes are either
104   read from the cluster or declared with *-O*; drained nodes are
105   considered offline)
106 - an exclusion-tag based conflict (exclusion tags are read from the
107   cluster and/or defined via the *\--exclusion-tags* option)
108 - a max vcpu/pcpu ratio to be exceeded (configured via *\--max-cpu*)
109 - min disk free percentage to go below the configured limit
110   (configured via *\--min-disk*)
111
112 CLUSTER SCORING
113 ~~~~~~~~~~~~~~~
114
115 As said before, the algorithm tries to minimise the cluster score at
116 each step. Currently this score is computed as a weighted sum of the
117 following components:
118
119 - standard deviation of the percent of free memory
120 - standard deviation of the percent of reserved memory
121 - the sum of the percentages of reserved memory
122 - standard deviation of the percent of free disk
123 - count of nodes failing N+1 check
124 - count of instances living (either as primary or secondary) on
125   offline nodes; in the sense of hbal (and the other htools) drained
126   nodes are considered offline
127 - count of instances living (as primary) on offline nodes; this
128   differs from the above metric by helping failover of such instances
129   in 2-node clusters
130 - standard deviation of the ratio of virtual-to-physical cpus (for
131   primary instances of the node)
132 - standard deviation of the fraction of the available spindles
133   (in dedicated mode, spindles represent physical spindles; otherwise
134   this oversubscribable measure for IO load, and the oversubscription
135   factor is taken into account when computing the number of available
136   spindles)
137 - standard deviation of the dynamic load on the nodes, for cpus,
138   memory, disk and network
139 - standard deviation of the CPU load provided by MonD
140 - the count of instances with primary and secondary in the same failure
141   domain
142
143 The free memory and free disk values help ensure that all nodes are
144 somewhat balanced in their resource usage. The reserved memory helps
145 to ensure that nodes are somewhat balanced in holding secondary
146 instances, and that no node keeps too much memory reserved for
147 N+1. And finally, the N+1 percentage helps guide the algorithm towards
148 eliminating N+1 failures, if possible.
149
150 Except for the N+1 failures, offline instances counts, and failure
151 domain violation counts, we use the
152 standard deviation since when used with values within a fixed range
153 (we use percents expressed as values between zero and one) it gives
154 consistent results across all metrics (there are some small issues
155 related to different means, but it works generally well). The 'count'
156 type values will have higher score and thus will matter more for
157 balancing; thus these are better for hard constraints (like evacuating
158 nodes and fixing N+1 failures). For example, the offline instances
159 count (i.e. the number of instances living on offline nodes) will
160 cause the algorithm to actively move instances away from offline
161 nodes. This, coupled with the restriction on placement given by
162 offline nodes, will cause evacuation of such nodes.
163
164 The dynamic load values need to be read from an external file (Ganeti
165 doesn't supply them), and are computed for each node as: sum of
166 primary instance cpu load, sum of primary instance memory load, sum of
167 primary and secondary instance disk load (as DRBD generates write load
168 on secondary nodes too in normal case and in degraded scenarios also
169 read load), and sum of primary instance network load. An example of
170 how to generate these values for input to hbal would be to track ``xm
171 list`` for instances over a day and by computing the delta of the cpu
172 values, and feed that via the *-U* option for all instances (and keep
173 the other metrics as one). For the algorithm to work, all that is
174 needed is that the values are consistent for a metric across all
175 instances (e.g. all instances use cpu% to report cpu usage, and not
176 something related to number of CPU seconds used if the CPUs are
177 different), and that they are normalised to between zero and one. Note
178 that it's recommended to not have zero as the load value for any
179 instance metric since then secondary instances are not well balanced.
180
181 The CPUload from MonD's data collector will be used only if all MonDs
182 are running, otherwise it won't affect the cluster score. Since we can't
183 find the CPU load of each instance, we can assume that the CPU load of
184 an instance is proportional to the number of its vcpus. With this
185 heuristic, instances from nodes with high CPU load will tend to move to
186 nodes with less CPU load.
187
188 On a perfectly balanced cluster (all nodes the same size, all
189 instances the same size and spread across the nodes equally), the
190 values for all metrics would be zero, with the exception of the total
191 percentage of reserved memory. This doesn't happen too often in
192 practice :)
193
194 OFFLINE INSTANCES
195 ~~~~~~~~~~~~~~~~~
196
197 Since current Ganeti versions do not report the memory used by offline
198 (down) instances, ignoring the run status of instances will cause
199 wrong calculations. For this reason, the algorithm subtracts the
200 memory size of down instances from the free node memory of their
201 primary node, in effect simulating the startup of such instances.
202
203 EXCLUSION TAGS
204 ~~~~~~~~~~~~~~
205
206 The exclusion tags mechanism is designed to prevent instances which
207 run the same workload (e.g. two DNS servers) to land on the same node,
208 which would make the respective node a SPOF for the given service.
209
210 It works by tagging instances with certain tags and then building
211 exclusion maps based on these. Which tags are actually used is
212 configured either via the command line (option *\--exclusion-tags*)
213 or via adding them to the cluster tags:
214
215 \--exclusion-tags=a,b
216   This will make all instance tags of the form *a:\**, *b:\** be
217   considered for the exclusion map
218
219 cluster tags *htools:iextags:a*, *htools:iextags:b*
220   This will make instance tags *a:\**, *b:\** be considered for the
221   exclusion map. More precisely, the suffix of cluster tags starting
222   with *htools:iextags:* will become the prefix of the exclusion tags.
223
224 Both the above forms mean that two instances both having (e.g.) the
225 tag *a:foo* or *b:bar* won't end on the same node.
226
227 MIGRATION TAGS
228 ~~~~~~~~~~~~~~
229
230 If Ganeti is deployed on a heterogeneous cluster, migration might
231 not be possible between all nodes of a node group. One example of
232 such a situation is upgrading the hypervisor node by node. To make
233 hbal aware of those restrictions, the following cluster tags are used.
234
235 cluster tags *htools:migration:a*, *htools:migration:b*, etc
236   This make make node tags of the form *a:\**, *b:\**, etc be considered
237   migration restriction. More precisely, the suffix of cluster tags starting
238   with *htools:migration:* will become the prefix of the migration tags.
239   Only those migrations will be taken into consideration where all migration
240   tags of the source node are also present on the target node.
241
242 cluster tags *htools:allowmigration:x::y* for migration tags *x* and *y*
243   This asserts that a node taged *y* is able to receive instances in
244   the same way as if they had an *x* tag.
245
246 So in the simple case of a hypervisor upgrade, tagging all the nodes
247 that have been upgraded with a migration tag suffices. In more complicated
248 situations, it is always possible to use a different migration tag for
249 each hypervisor used and explictly state the allowed migration directions
250 by means of *htools:allowmigration:* tags.
251
252 LOCATION TAGS
253 ~~~~~~~~~~~~~
254
255 Within a node group, certain nodes might be more likely to fail simultaneously
256 due to a common cause of error (e.g., if they share the same power supply unit).
257 Ganeti can be made aware of thos common causes of failure by means of tags.
258
259 cluster tags *htools:nlocation:a*, *htools:nlocation:b*, etc
260   This make make node tags of the form *a:\**, *b:\**, etc be considered
261   to have a common cause of failure.
262
263 Instances with primary and secondary node having a common cause of failure are
264 considered badly placed. While such placements are always allowed, they count
265 heavily towards the cluster score.
266
267 OPTIONS
268 -------
269
270 The options that can be passed to the program are as follows:
271
272 -C, \--print-commands
273   Print the command list at the end of the run. Without this, the
274   program will only show a shorter, but cryptic output.
275
276   Note that the moves list will be split into independent steps,
277   called "jobsets", but only for visual inspection, not for actually
278   parallelisation. It is not possible to parallelise these directly
279   when executed via "gnt-instance" commands, since a compound command
280   (e.g. failover and replace-disks) must be executed
281   serially. Parallel execution is only possible when using the Luxi
282   backend and the *-L* option.
283
284   The algorithm for splitting the moves into jobsets is by
285   accumulating moves until the next move is touching nodes already
286   touched by the current moves; this means we can't execute in
287   parallel (due to resource allocation in Ganeti) and thus we start a
288   new jobset.
289
290 -p, \--print-nodes
291   Prints the before and after node status, in a format designed to allow
292   the user to understand the node's most important parameters. See the
293   man page **htools**\(1) for more details about this option.
294
295 \--print-instances
296   Prints the before and after instance map. This is less useful as the
297   node status, but it can help in understanding instance moves.
298
299 -O *name*
300   This option (which can be given multiple times) will mark nodes as
301   being *offline*. This means a couple of things:
302
303   - instances won't be placed on these nodes, not even temporarily;
304     e.g. the *replace primary* move is not available if the secondary
305     node is offline, since this move requires a failover.
306   - these nodes will not be included in the score calculation (except
307     for the percentage of instances on offline nodes)
308
309   Note that algorithm will also mark as offline any nodes which are
310   reported by RAPI as such, or that have "?" in file-based input in
311   any numeric fields.
312
313 -e *score*, \--min-score=*score*
314   This parameter denotes how much above the N+1 bound the cluster score
315   can for us to be happy with and alters the computation in two ways:
316
317   - if the cluster has the initial score lower than this value, then we
318     don't enter the algorithm at all, and exit with success
319   - during the iterative process, if we reach a score lower than this
320     value, we exit the algorithm
321
322   The default value of the parameter is currently ``1e-9`` (chosen
323   empirically).
324
325 -g *delta*, \--min-gain=*delta*
326   Since the balancing algorithm can sometimes result in just very tiny
327   improvements, that bring less gain that they cost in relocation
328   time, this parameter (defaulting to 0.01) represents the minimum
329   gain we require during a step, to continue balancing.
330
331 \--min-gain-limit=*threshold*
332   The above min-gain option will only take effect if the cluster score
333   is already below *threshold* (defaults to 0.1). The rationale behind
334   this setting is that at high cluster scores (badly balanced
335   clusters), we don't want to abort the rebalance too quickly, as
336   later gains might still be significant. However, under the
337   threshold, the total gain is only the threshold value, so we can
338   exit early.
339
340 \--no-disk-moves
341   This parameter prevents hbal from using disk move
342   (i.e. "gnt-instance replace-disks") operations. This will result in
343   a much quicker balancing, but of course the improvements are
344   limited. It is up to the user to decide when to use one or another.
345
346 \--no-instance-moves
347   This parameter prevents hbal from using instance moves
348   (i.e. "gnt-instance migrate/failover") operations. This will only use
349   the slow disk-replacement operations, and will also provide a worse
350   balance, but can be useful if moving instances around is deemed unsafe
351   or not preferred.
352
353 \--evac-mode
354   This parameter restricts the list of instances considered for moving
355   to the ones living on offline/drained nodes. It can be used as a
356   (bulk) replacement for Ganeti's own *gnt-node evacuate*, with the
357   note that it doesn't guarantee full evacuation.
358
359 \--restricted-migration
360   This parameter disallows any replace-primary moves (frf), as well as
361   those replace-and-failover moves (rf) where the primary node of the
362   instance is not drained. If used together with the ``--evac-mode``
363   option, the only migrations that hbal will do are migrations of
364   instances off a drained node. This can be useful if during a reinstall
365   of the base operating system migration is only possible from the old
366   OS to the new OS. Note, however, that usually the use of migration
367   tags is the better choice.
368
369 \--select-instances=*instances*
370   This parameter marks the given instances (as a comma-separated list)
371   as the only ones being moved during the rebalance.
372
373 \--exclude-instances=*instances*
374   This parameter marks the given instances (as a comma-separated list)
375   from being moved during the rebalance.
376
377 -U *util-file*
378   This parameter specifies a file holding instance dynamic utilisation
379   information that will be used to tweak the balancing algorithm to
380   equalise load on the nodes (as opposed to static resource
381   usage). The file is in the format "instance_name cpu_util mem_util
382   disk_util net_util" where the "_util" parameters are interpreted as
383   numbers and the instance name must match exactly the instance as
384   read from Ganeti. In case of unknown instance names, the program
385   will abort.
386
387   If not given, the default values are one for all metrics and thus
388   dynamic utilisation has only one effect on the algorithm: the
389   equalisation of the secondary instances across nodes (this is the
390   only metric that is not tracked by another, dedicated value, and
391   thus the disk load of instances will cause secondary instance
392   equalisation). Note that value of one will also influence slightly
393   the primary instance count, but that is already tracked via other
394   metrics and thus the influence of the dynamic utilisation will be
395   practically insignificant.
396
397 \--ignore-dynu
398   If given, all dynamic utilisation information will be ignored by
399   assuming it to be 0. This option will take precedence over any data
400   passed by the ``-U`` option or by the MonDs with the ``--mond`` and
401   the ``--mond-data`` option.
402
403 \--ignore-soft-errors
404   If given, all checks for soft errors will be ommitted when considering
405   balancing moves. In this way, progress can be made in a cluster where
406   all nodes are in a policy-wise bad state, like exceeding oversubscription
407   ratios on CPU or spindles.
408
409 -S *filename*, \--save-cluster=*filename*
410   If given, the state of the cluster before the balancing is saved to
411   the given file plus the extension "original"
412   (i.e. *filename*.original), and the state at the end of the
413   balancing is saved to the given file plus the extension "balanced"
414   (i.e. *filename*.balanced). This allows re-feeding the cluster state
415   to either hbal itself or for example hspace via the ``-t`` option.
416
417 -t *datafile*, \--text-data=*datafile*
418   Backend specification: the name of the file holding node and instance
419   information (if not collecting via RAPI or LUXI). This or one of the
420   other backends must be selected. The option is described in the man
421   page **htools**\(1).
422
423 \--mond=*yes|no*
424   If given the program will query all MonDs to fetch data from the
425   supported data collectors over the network.
426
427 \--mond-xen
428   If given, also query Xen-specific collectors from MonD, provided
429   that monitoring daemons are queried at all.
430
431 \--exit-on-missing-mond-data
432   If given, abort if the data obtainable from querying MonDs is incomplete.
433   The default behavior is to continue with a best guess based on the static
434   information.
435
436 \--mond-data *datafile*
437   The name of the file holding the data provided by MonD, to override
438   quering MonDs over the network. This is mostly used for debugging. The
439   file must be in JSON format and present an array of JSON objects ,
440   one for every node, with two members. The first member named ``node``
441   is the name of the node and the second member named ``reports`` is an
442   array of report objects. The report objects must be in the same format
443   as produced by the monitoring agent.
444
445 -m *cluster*
446   Backend specification: collect data directly from the *cluster* given
447   as an argument via RAPI. The option is described in the man page
448   **htools**\(1).
449
450 -L [*path*]
451   Backend specification: collect data directly from the master daemon,
452   which is to be contacted via LUXI (an internal Ganeti protocol). The
453   option is described in the man page **htools**\(1).
454
455 -X
456   When using the Luxi backend, hbal can also execute the given
457   commands. The execution method is to execute the individual jobsets
458   (see the *-C* option for details) in separate stages, aborting if at
459   any time a jobset doesn't have all jobs successful. Each step in the
460   balancing solution will be translated into exactly one Ganeti job
461   (having between one and three OpCodes), and all the steps in a
462   jobset will be executed in parallel. The jobsets themselves are
463   executed serially.
464
465   The execution of the job series can be interrupted, see below for
466   signal handling.
467
468 -l *N*, \--max-length=*N*
469   Restrict the solution to this length. This can be used for example
470   to automate the execution of the balancing.
471
472 \--max-cpu=*cpu-ratio*
473   The maximum virtual to physical cpu ratio, as a floating point number
474   greater than or equal to one. For example, specifying *cpu-ratio* as
475   **2.5** means that, for a 4-cpu machine, a maximum of 10 virtual cpus
476   should be allowed to be in use for primary instances. A value of
477   exactly one means there will be no over-subscription of CPU (except
478   for the CPU time used by the node itself), and values below one do not
479   make sense, as that means other resources (e.g. disk) won't be fully
480   utilised due to CPU restrictions.
481
482 \--min-disk=*disk-ratio*
483   The minimum amount of free disk space remaining, as a floating point
484   number. For example, specifying *disk-ratio* as **0.25** means that
485   at least one quarter of disk space should be left free on nodes.
486
487 -G *uuid*, \--group=*uuid*
488   On an multi-group cluster, select this group for
489   processing. Otherwise hbal will abort, since it cannot balance
490   multiple groups at the same time.
491
492 -v, \--verbose
493   Increase the output verbosity. Each usage of this option will
494   increase the verbosity (currently more than 2 doesn't make sense)
495   from the default of one.
496
497 -q, \--quiet
498   Decrease the output verbosity. Each usage of this option will
499   decrease the verbosity (less than zero doesn't make sense) from the
500   default of one.
501
502 -V, \--version
503   Just show the program version and exit.
504
505 SIGNAL HANDLING
506 ---------------
507
508 When executing jobs via LUXI (using the ``-X`` option), normally hbal
509 will execute all jobs until either one errors out or all the jobs finish
510 successfully.
511
512 Since balancing can take a long time, it is possible to stop hbal early
513 in two ways:
514
515 - by sending a ``SIGINT`` (``^C``), hbal will register the termination
516   request, and will wait until the currently submitted jobs finish, at
517   which point it will exit (with exit code 0 if all jobs finished
518   correctly, otherwise with exit code 1 as usual)
519
520 - by sending a ``SIGTERM``, hbal will immediately exit (with exit code
521   2\); it is the responsibility of the user to follow up with Ganeti
522   and check the result of the currently-executing jobs
523
524 Note that in any situation, it's perfectly safe to kill hbal, either via
525 the above signals or via any other signal (e.g. ``SIGQUIT``,
526 ``SIGKILL``), since the jobs themselves are processed by Ganeti whereas
527 hbal (after submission) only watches their progression. In this case,
528 the user will have to query Ganeti for job results.
529
530 EXIT STATUS
531 -----------
532
533 The exit status of the command will be zero, unless for some reason the
534 algorithm failed (e.g. wrong node or instance data), invalid command
535 line options, or (in case of job execution) one of the jobs has failed.
536
537 Once job execution via Luxi has started (``-X``), if the balancing was
538 interrupted early (via *SIGINT*, or via ``--max-length``) but all jobs
539 executed successfully, then the exit status is zero; a non-zero exit
540 code means that the cluster state should be investigated, since a job
541 failed or we couldn't compute its status and this can also point to a
542 problem on the Ganeti side.
543
544 BUGS
545 ----
546
547 The program does not check all its input data for consistency, and
548 sometime aborts with cryptic errors messages with invalid data.
549
550 The algorithm is not perfect.
551
552 EXAMPLE
553 -------
554
555 Note that these examples are not for the latest version (they don't
556 have full node data).
557
558 Default output
559 ~~~~~~~~~~~~~~
560
561 With the default options, the program shows each individual step and
562 the improvements it brings in cluster score::
563
564     $ hbal
565     Loaded 20 nodes, 80 instances
566     Cluster is not N+1 happy, continuing but no guarantee that the cluster will end N+1 happy.
567     Initial score: 0.52329131
568     Trying to minimize the CV...
569         1. instance14  node1:node10  => node16:node10 0.42109120 a=f r:node16 f
570         2. instance54  node4:node15  => node16:node15 0.31904594 a=f r:node16 f
571         3. instance4   node5:node2   => node2:node16  0.26611015 a=f r:node16
572         4. instance48  node18:node20 => node2:node18  0.21361717 a=r:node2 f
573         5. instance93  node19:node18 => node16:node19 0.16166425 a=r:node16 f
574         6. instance89  node3:node20  => node2:node3   0.11005629 a=r:node2 f
575         7. instance5   node6:node2   => node16:node6  0.05841589 a=r:node16 f
576         8. instance94  node7:node20  => node20:node16 0.00658759 a=f r:node16
577         9. instance44  node20:node2  => node2:node15  0.00438740 a=f r:node15
578        10. instance62  node14:node18 => node14:node16 0.00390087 a=r:node16
579        11. instance13  node11:node14 => node11:node16 0.00361787 a=r:node16
580        12. instance19  node10:node11 => node10:node7  0.00336636 a=r:node7
581        13. instance43  node12:node13 => node12:node1  0.00305681 a=r:node1
582        14. instance1   node1:node2   => node1:node4   0.00263124 a=r:node4
583        15. instance58  node19:node20 => node19:node17 0.00252594 a=r:node17
584     Cluster score improved from 0.52329131 to 0.00252594
585
586 In the above output, we can see:
587
588 - the input data (here from files) shows a cluster with 20 nodes and
589   80 instances
590 - the cluster is not initially N+1 compliant
591 - the initial score is 0.52329131
592
593 The step list follows, showing the instance, its initial
594 primary/secondary nodes, the new primary secondary, the cluster list,
595 and the actions taken in this step (with 'f' denoting failover/migrate
596 and 'r' denoting replace secondary).
597
598 Finally, the program shows the improvement in cluster score.
599
600 A more detailed output is obtained via the *-C* and *-p* options::
601
602     $ hbal
603     Loaded 20 nodes, 80 instances
604     Cluster is not N+1 happy, continuing but no guarantee that the cluster will end N+1 happy.
605     Initial cluster status:
606     N1 Name   t_mem f_mem r_mem t_dsk f_dsk pri sec  p_fmem  p_fdsk
607      * node1  32762  1280  6000  1861  1026   5   3 0.03907 0.55179
608        node2  32762 31280 12000  1861  1026   0   8 0.95476 0.55179
609      * node3  32762  1280  6000  1861  1026   5   3 0.03907 0.55179
610      * node4  32762  1280  6000  1861  1026   5   3 0.03907 0.55179
611      * node5  32762  1280  6000  1861   978   5   5 0.03907 0.52573
612      * node6  32762  1280  6000  1861  1026   5   3 0.03907 0.55179
613      * node7  32762  1280  6000  1861  1026   5   3 0.03907 0.55179
614        node8  32762  7280  6000  1861  1026   4   4 0.22221 0.55179
615        node9  32762  7280  6000  1861  1026   4   4 0.22221 0.55179
616      * node10 32762  7280 12000  1861  1026   4   4 0.22221 0.55179
617        node11 32762  7280  6000  1861   922   4   5 0.22221 0.49577
618        node12 32762  7280  6000  1861  1026   4   4 0.22221 0.55179
619        node13 32762  7280  6000  1861   922   4   5 0.22221 0.49577
620        node14 32762  7280  6000  1861   922   4   5 0.22221 0.49577
621      * node15 32762  7280 12000  1861  1131   4   3 0.22221 0.60782
622        node16 32762 31280     0  1861  1860   0   0 0.95476 1.00000
623        node17 32762  7280  6000  1861  1106   5   3 0.22221 0.59479
624      * node18 32762  1280  6000  1396   561   5   3 0.03907 0.40239
625      * node19 32762  1280  6000  1861  1026   5   3 0.03907 0.55179
626        node20 32762 13280 12000  1861   689   3   9 0.40535 0.37068
627
628     Initial score: 0.52329131
629     Trying to minimize the CV...
630         1. instance14  node1:node10  => node16:node10 0.42109120 a=f r:node16 f
631         2. instance54  node4:node15  => node16:node15 0.31904594 a=f r:node16 f
632         3. instance4   node5:node2   => node2:node16  0.26611015 a=f r:node16
633         4. instance48  node18:node20 => node2:node18  0.21361717 a=r:node2 f
634         5. instance93  node19:node18 => node16:node19 0.16166425 a=r:node16 f
635         6. instance89  node3:node20  => node2:node3   0.11005629 a=r:node2 f
636         7. instance5   node6:node2   => node16:node6  0.05841589 a=r:node16 f
637         8. instance94  node7:node20  => node20:node16 0.00658759 a=f r:node16
638         9. instance44  node20:node2  => node2:node15  0.00438740 a=f r:node15
639        10. instance62  node14:node18 => node14:node16 0.00390087 a=r:node16
640        11. instance13  node11:node14 => node11:node16 0.00361787 a=r:node16
641        12. instance19  node10:node11 => node10:node7  0.00336636 a=r:node7
642        13. instance43  node12:node13 => node12:node1  0.00305681 a=r:node1
643        14. instance1   node1:node2   => node1:node4   0.00263124 a=r:node4
644        15. instance58  node19:node20 => node19:node17 0.00252594 a=r:node17
645     Cluster score improved from 0.52329131 to 0.00252594
646
647     Commands to run to reach the above solution:
648       echo step 1
649       echo gnt-instance migrate instance14
650       echo gnt-instance replace-disks -n node16 instance14
651       echo gnt-instance migrate instance14
652       echo step 2
653       echo gnt-instance migrate instance54
654       echo gnt-instance replace-disks -n node16 instance54
655       echo gnt-instance migrate instance54
656       echo step 3
657       echo gnt-instance migrate instance4
658       echo gnt-instance replace-disks -n node16 instance4
659       echo step 4
660       echo gnt-instance replace-disks -n node2 instance48
661       echo gnt-instance migrate instance48
662       echo step 5
663       echo gnt-instance replace-disks -n node16 instance93
664       echo gnt-instance migrate instance93
665       echo step 6
666       echo gnt-instance replace-disks -n node2 instance89
667       echo gnt-instance migrate instance89
668       echo step 7
669       echo gnt-instance replace-disks -n node16 instance5
670       echo gnt-instance migrate instance5
671       echo step 8
672       echo gnt-instance migrate instance94
673       echo gnt-instance replace-disks -n node16 instance94
674       echo step 9
675       echo gnt-instance migrate instance44
676       echo gnt-instance replace-disks -n node15 instance44
677       echo step 10
678       echo gnt-instance replace-disks -n node16 instance62
679       echo step 11
680       echo gnt-instance replace-disks -n node16 instance13
681       echo step 12
682       echo gnt-instance replace-disks -n node7 instance19
683       echo step 13
684       echo gnt-instance replace-disks -n node1 instance43
685       echo step 14
686       echo gnt-instance replace-disks -n node4 instance1
687       echo step 15
688       echo gnt-instance replace-disks -n node17 instance58
689
690     Final cluster status:
691     N1 Name   t_mem f_mem r_mem t_dsk f_dsk pri sec  p_fmem  p_fdsk
692        node1  32762  7280  6000  1861  1026   4   4 0.22221 0.55179
693        node2  32762  7280  6000  1861  1026   4   4 0.22221 0.55179
694        node3  32762  7280  6000  1861  1026   4   4 0.22221 0.55179
695        node4  32762  7280  6000  1861  1026   4   4 0.22221 0.55179
696        node5  32762  7280  6000  1861  1078   4   5 0.22221 0.57947
697        node6  32762  7280  6000  1861  1026   4   4 0.22221 0.55179
698        node7  32762  7280  6000  1861  1026   4   4 0.22221 0.55179
699        node8  32762  7280  6000  1861  1026   4   4 0.22221 0.55179
700        node9  32762  7280  6000  1861  1026   4   4 0.22221 0.55179
701        node10 32762  7280  6000  1861  1026   4   4 0.22221 0.55179
702        node11 32762  7280  6000  1861  1022   4   4 0.22221 0.54951
703        node12 32762  7280  6000  1861  1026   4   4 0.22221 0.55179
704        node13 32762  7280  6000  1861  1022   4   4 0.22221 0.54951
705        node14 32762  7280  6000  1861  1022   4   4 0.22221 0.54951
706        node15 32762  7280  6000  1861  1031   4   4 0.22221 0.55408
707        node16 32762  7280  6000  1861  1060   4   4 0.22221 0.57007
708        node17 32762  7280  6000  1861  1006   5   4 0.22221 0.54105
709        node18 32762  7280  6000  1396   761   4   2 0.22221 0.54570
710        node19 32762  7280  6000  1861  1026   4   4 0.22221 0.55179
711        node20 32762 13280  6000  1861  1089   3   5 0.40535 0.58565
712
713 Here we see, beside the step list, the initial and final cluster
714 status, with the final one showing all nodes being N+1 compliant, and
715 the command list to reach the final solution. In the initial listing,
716 we see which nodes are not N+1 compliant.
717
718 The algorithm is stable as long as each step above is fully completed,
719 e.g. in step 8, both the migrate and the replace-disks are
720 done. Otherwise, if only the migrate is done, the input data is
721 changed in a way that the program will output a different solution
722 list (but hopefully will end in the same state).
723
724 .. vim: set textwidth=72 :
725 .. Local Variables:
726 .. mode: rst
727 .. fill-column: 72
728 .. End: