Benchmark FairFuzz TBF Test-Suite Validator
Tool FairFuzz TC-0.0.2 Tbf Test-suite Validator v1.2
Limits timelimit: 900 s, memlimit: 15000 MB, CPU core limit: 8 timelimit: 10800 s, memlimit: 7000 MB, CPU core limit: 2
Host apollon*
OS Linux 4.15.0-45-generic
System CPU: Intel Xeon E3-1230 v5 @ 3.40 GHz, cores: 8, frequency: 3.8 GHz, Turbo Boost: disabled; RAM: 33546 MB
Date of execution 2019-02-08 09:39:09 CET 2019-02-08 13:22:04 CET
Run set fairfuzz.test-comp19_prop-coverage-branches.ReachSafety-Loops tbf-testsuite-validator-fairfuzz.test-comp19_prop-coverage-branches.ReachSafety-Loops
Options --verbose --sequence-file cov-seq.txt -r --test-suite ../../results-verified/fairfuzz.2019-02-08_0939.logfiles/${rundefinition_name}.${inputfile_name}.files/test-suite.zip
sv-benchmarks/c/ status score program test-suite TS size inspect test-suite cpu (s) wall (s) mem (MB) energy (J) blkio-w (MB) blkio-r (MB) status program test-suite TS size inspect test-suite cov branch cov (%) line cov (%) cpu (s) wall (s) mem (MB) energy blkio-w (MB) blkio-r (MB)
loops/array-1.yml .667 19    18    16 91   .21 0     66.7 93.3 .11  .11  16   .078 0  
loops/array-2.yml 1.0   17    15    17 51   .21 0     100   100   .12  .14  16   .094 0  
loops/bubble_sort-1.yml .0   14    13    20 55   .25 0     0   0   .060 .061 9.0 0     0  
loops/compact.yml 1.0   900    910    54 12000   .73 0     100   100   29     29     500   .23  0  
loops/count_up_down-1.yml .5   18    17    16 110   .20 0     50.0 72.7 .12  .12  17   .078 0  
loops/count_up_down-2.yml .0   .15 .17 11 1.9 .19 0     0   0   .060 .061 9.0 0     0  
loops/eureka_01-1.yml .923 75    69    18 240   .30 0     92.3 100   .21  .20  16   .52  0  
loops/for_bounded_loop1.yml 1.0   43    40    17 170   .29 0     100   100   .20  .24  16   .42  0  
loops/insertion_sort-1.yml 1.0   34    33    17 390   .31 0     100   100   .19  .21  17   .39  0  
loops/insertion_sort-2.yml .9   440    440    18 5800   .39 0     90.0 94.1 10     10     19   1.2   0  
loops/invert_string-1.yml .0   2.1  2.2  10 29   .23 0     0   0   .062 .062 9.0 0     0  
loops/invert_string-3.yml .875 31    29    16 79   .21 0     87.5 94.4 .11  .11  16   .078 0  
loops/linear_sea.ch.yml .667 40    37    18 110   .29 0     66.7 87.5 .20  .20  16   .44  0  
loops/linear_search.yml .929 21    19    18 69   .29 0     92.9 100   .20  .24  17   .44  0  
loops/matrix-1.yml .75  20    18    16 87   .21 0     75.0 94.1 .12  .12  16   .078 0  
loops/matrix-2.yml 1.0   900    900    210 12000   1.2  0     100   100   190     190     1100   1.5   0  
loops/n.c40.yml .5   9.2  8.4  15 38   .20 0     50.0 63.6 .12  .12  16   .094 0  
loops/nec20.yml .833 10    9.4  15 45   .28 0     83.3 95.8 .13  .13  16   .14  0  
loops/nec40.yml .4   9.5  8.7  15 36   .21 0     40.0 46.7 .12  .12  17   .094 0  
loops/string-1.yml .885 92    86    19 250   .28 0     88.5 96.5 .18  .21  17   .38  0  
loops/string-2.yml .962 120    110    20 290   .29 0     96.2 100   .22  .25  16   .44  0  
loops/sum01-1.yml .9   21    20    19 62   .28 .34  90.0 100   3.5   3.6   17   .24  0  
loops/sum01-2.yml .417 13    11    16 100   .20 0     41.7 80.0 .11  .11  16   .078 0  
loops/sum01_bug02.yml .9   540    540    11 6700   .37 0     90.0 100   23     23     16   .36  0  
loops/sum01_bug02_sum01_bug02_base.case.yml 1.0   780    780    10 9100   .39 0     100   100   9.6   9.6   17   .26  0  
loops/sum03-1.yml .0   .15 .16 10 1.6 .20 0     0   0   .060 .061 9.0 0     0  
loops/sum_array-1.yml 1.0   700    710    150 8500   .36 0     100   100   110     110     1000   .78  0  
loops/sum_array-2.yml .929 900    900    150 12000   .81 0     92.9 94.4 110     110     1200   1.2   0  
loops/terminator_01.yml .0   .13 .15 11 1.5 .19 0     0   0   .059 .060 9.0 0     0  
loops/terminator_02-1.yml .0   .14 .16 10 1.6 .20 0     0   0   .067 .068 9.0 0     0  
loops/terminator_02-2.yml .8   190    180    20 610   .29 .061 80.0 94.7 .21  .22  16   .39  0  
loops/terminator_03-1.yml .75  10    9.8  16 110   .20 0     75.0 100   .12  .12  17   .11  0  
loops/terminator_03-2.yml .714 690    680    17 10000   .32 0     71.4 92.3 1.8   1.8   16   .23  0  
loops/trex01-1.yml .0   1.1  1.2  14 18   .20 .061 0   0   .057 .059 9.0 0     0  
loops/trex01-2.yml .846 350    350    56 4000   .29 0     84.6 96.5 26     26     1000   .51  0  
loops/trex02-1.yml .833 900    910    40 13000   .50 0     83.3 92.9 15     15     990   .27  0  
loops/trex02-2.yml .833 900    910    42 12000   .43 0     83.3 100   14     15     990   .29  0  
loops/trex03-1.yml .944 900    910    70 11000   .29 0     94.4 100   38     38     1100   .27  0  
loops/trex03-2.yml .778 900    910    83 12000   .78 0     77.8 93.8 49     49     1100   .49  0  
loops/veris.c_sendmail_tTflag_arr_one_loop.yml .5   33    30    16 87   .20 0     50.0 73.7 .12  .14  16   .078 0  
loops/vogal-1.yml .95  39    36    17 74   .29 0     95.0 96.2 .19  .22  16   .27  0  
loops/vogal-2.yml 1.0   150    140    19 540   .29 0     100   100   .39  .36  17   1.1   0  
loop-acceleration/array_3-1.yml .5   92    92    11 610   .21 0     50.0 72.7 .14  .14  17   .078 0  
loop-acceleration/array_3-2.yml .75  320    320    11 2000   .29 0     75.0 88.9 .57  .57  17   .31  0  
loop-acceleration/array_4.yml .667 160    160    10 1200   .21 0     66.7 90.0 .14  .14  17   .078 0  
loop-acceleration/diamond_1-1.yml .667 29    27    17 81   .20 0     66.7 83.3 .11  .11  17   .078 0  
loop-acceleration/diamond_1-2.yml .0   .15 .17 11 1.7 .20 0     0   0   .076 .077 9.0 0     0  
loop-acceleration/diamond_2-2.yml .542 29    27    17 94   .20 0     54.2 62.1 .12  .12  16   .078 0  
loop-acceleration/multivar_1-1.yml .75  20    18    16 80   .20 0     75.0 90.9 .12  .14  16   .078 0  
loop-acceleration/multivar_1-2.yml .0   .13 .15 10 1.4 .19 0     0   0   .063 .064 9.0 0     0  
loop-acceleration/simple_3-2.yml .75  15    13    15 76   .28 0