Benchmark PRtest TBF Test-Suite Validator
Tool tbf v0.3.0-testcomp19 Tbf Test-suite Validator v1.2
Limits timelimit: 900 s, memlimit: 15000 MB, CPU core limit: 8 timelimit: 10800 s, memlimit: 7000 MB, CPU core limit: 2
Host apollon* [apollon010; apollon052; apollon080; apollon107; apollon135; apollon167]
OS Linux 4.15.0-45-generic
System CPU: Intel Xeon E3-1230 v5 @ 3.40 GHz, cores: 8, frequency: 3.8 GHz, Turbo Boost: disabled; RAM: 33546 MB
Date of execution 2019-02-06 06:02:44 CET 2019-02-06 13:26:19 CET
Run set prtest.test-comp19_prop-coverage-branches.ReachSafety-Arrays tbf-testsuite-validator-prtest.test-comp19_prop-coverage-branches.ReachSafety-Arrays
Options --stats -i random --write-xml --svcomp-nondets --verbose --sequence-file cov-seq.txt -r --test-suite ../../results-verified/prtest.2019-02-06_0602.logfiles/${rundefinition_name}.${inputfile_name}.files/test-suite.zip
sv-benchmarks/c/ status score program test-suite TS size inspect test-suite cpu (s) wall (s) mem (MB) energy (J) blkio-w (MB) blkio-r (MB) status program test-suite TS size inspect test-suite cov branch cov (%) line cov (%) cpu (s) wall (s) mem (MB) energy blkio-w (MB) blkio-r (MB)
array-examples/sanfoundry_10_ground.yml .0556 900    840    31 13000   .012  0   5.56 40.0  .37  .37  45   .078 0  
array-examples/sanfoundry_24-1.yml .917  900    840    30 13000   .012  0   91.7  100    .41  .41  45   .11  0  
array-examples/standard_copy1_ground-1.yml .125  900    840    31 12000   .012  0   12.5  33.3  .36  .36  45   .078 0  
array-examples/standard_copy1_ground-2.yml .125  900    840    31 13000   .012  0   12.5  40.0  .37  .37  45   .078 0  
array-examples/standard_copy2_ground-1.yml .1    900    840    31 12000   .012  0   10.0  33.3  .44  .44  45   .078 0  
array-examples/standard_copy2_ground-2.yml .1    900    840    31 13000   .012  0   10.0  27.3  .35  .35  45   .078 0  
array-examples/standard_copy3_ground-1.yml .0833 900    840    31 14000   .012  0   8.33 23.1  .40  .40  45   .078 0  
array-examples/standard_copy3_ground-2.yml .0833 900    840    31 13000   .012  0   8.33 28.6  .36  .36  45   .078 0  
array-examples/standard_copy4_ground-1.yml .0714 900    840    31 13000   .012  0   7.14 20.0  .36  .36  45   .078 0  
array-examples/standard_copy4_ground-2.yml .0714 900    840    30 14000   .012  0   7.14 25.0  .35  .35  45   .078 0  
array-examples/standard_copy5_ground-1.yml .0625 900    840    31 12000   .012  0   6.25 17.6  .36  .36  45   .078 0  
array-examples/standard_copy5_ground-2.yml .0625 900    840    31 14000   .025  0   6.25 22.2  .36  .36  45   .078 0  
array-examples/standard_copy6_ground-1.yml .0556 900    840    31 12000   .012  0   5.56 20.0  .36  .36  45   .078 0  
array-examples/standard_copy6_ground-2.yml .0556 900    840    31 15000   .012  0   5.56 15.8  .36  .36  45   .078 0  
array-examples/standard_copy7_ground-1.yml .05   900    840    31 13000   .012  0   5.00 18.2  .36  .36  45   .082 0  
array-examples/standard_copy7_ground-2.yml .05   900    840    31 13000   .012  0   5.00 14.3  .37  .39  45   .082 0  
array-examples/standard_copy8_ground-1.yml .0455 900    840    31 13000   .012  0   4.55 13.0  .39  .39  45   .082 0  
array-examples/standard_copy8_ground-2.yml .0455 900    840    31 14000   .012  0   4.55 16.7  .37  .37  45   .082 0  
array-examples/standard_copy9_ground-1.yml .0417 900    840    31 13000   .012  0   4.17 15.4  .36  .36  45   .082 0  
array-examples/standard_copy9_ground-2.yml .0417 900    840    30 12000   .012  0   4.17 12.0  .37  .37  45   .082 0  
array-examples/standard_copyInitSum_ground.yml .9    900    850    31 12000   .012  0   90.0  100    .12  .12  16   .078 0  
array-examples/standard_find_ground-1.yml .1    900    840    30 13000   0      0   10.0  45.5  .39  .39  45   .078 0  
array-examples/standard_partition_ground-1.yml .214  900    840    31 14000   .012  0   21.4  45.5  .36  .36  45   .078 0  
array-examples/standard_sentinel-2.yml .1    900    840    31 15000   .012  0   10.0  38.5  .38  .38  45   .078 0  
array-examples/standard_sentinel.i.v+cfa-reducer.yml .1    900    840    31 13000   .012  0   10.0  22.7  .36  .36  45   .078 0  
array-examples/standard_strcpy_ground-1.yml .1    900    840    31 13000   .012  0   10.0  46.1  .37  .37  45   .078 0  
array-examples/standard_strcpy_original-2.yml .0833 900    840    31 13000   .012  0   8.33 40.0  .38  .38  45   .078 0  
array-examples/standard_two_index_01.yml .875  900    840    31 13000   .012  0   87.5  100    .36  .36  45   .078 0  
array-examples/standard_two_index_02.yml .125  900    840    30 12000   .012  0   12.5  31.6  .35  .35  45   .078 0  
array-examples/standard_two_index_03.yml .875  900    840    31 12000   .012  0   87.5  100    .37  .37  45   .078 0  
array-examples/standard_two_index_04.yml .125  900    840    31 13000   .012  0   12.5  31.6  .36  .36  45   .078 0  
array-examples/standard_two_index_05.yml .125  900    840    31 12000   .012  0   12.5  31.6  .39  .39  45   .078 0  
array-examples/standard_two_index_06.yml .875  900    840    31 15000   .012  0   87.5  100    .38  .38  45   .078 0  
array-examples/standard_two_index_07.yml .125  900    840    31 12000   .012  0   12.5  31.6  .37  .37  45   .078 0  
array-examples/standard_two_index_08.yml .125  900    840    31 14000   .0041 0   12.5  31.6  .36  .37  45   .078 0  
array-examples/standard_two_index_09.yml .125  900    840    31 13000   .012  0   12.5  31.6  .37  .37  45   .078 0  
array-industry-pattern/array_monotonic.yml .2    900    840    30 15000   .0041 0   20.0  44.4  .37  .38  45   .078 0  
array-industry-pattern/array_mul_init.yml .0    900    840    31 12000   0      0   0    0    .57  .57  21   .078 0  
array-industry-pattern/array_of_struct_break.yml .9    900    840    31 11000   .012  0   90.0  100    .12  .12  16   .094 0  
array-industry-pattern/array_of_struct_ptr_mul_init.yml .0    900    840    32 12000   .012  0   0    0    .58  .58  21   .078 0  
array-industry-pattern/array_of_struct_single_elem_init.yml .25   900    840    34 13000   .025  0   25.0  50.0  .61  .63  46   .094 0  
array-industry-pattern/array_ptr_single_elem_init-2.yml .5    900    840    35 13000   .025  0   50.0  64.7  .88  .88  48   .11  0  
array-industry-pattern/array_shadowinit.yml .125  .28 .47 30 3.0 0      0   12.5  25.0  .13  .13  17   .078 0  
array-industry-pattern/array_single_elem_init.yml .5    900    840    35 13000   .016  0   50.0  64.7  .86  .86  48   .11  0  
reducercommutativity/avg.yml .1    .28 .37 30 3.0 0      0   10.0  19.1  .12  .12  16   .078 0  
reducercommutativity/avg05-1.yml .8    900    850    31 14000   .012  0   80.0  94.7  .11  .11  16   .078 0  
reducercommutativity/avg10-2.yml .8    900    850    31 14000   .012  0   80.0  94.7  .13  .13  16   .078 0  
reducercommutativity/avg20-2.yml .8    900    850    31 12000   .012  0   80.0  94.7  .14  .14  16   .078 0  
reducercommutativity/avg40-2.yml .8    900    850    31 13000   .012  0   80.0  94.7  .12  .12  17   .078 0  
reducercommutativity/avg60-1.yml .8    900    850    31 14000   .012  0   80.0  94.7  .12  .12  17   .078 0  
reducercommutativity/max.yml .1    .25 .44 31 3.3 0      0   10.0  19.1  .12  .12  16   .078 0  
reducercommutativity/max05-1.yml .8    900    850    31 14000   .012  0   80.0  94.7  .12  .13  16   .078 0  
reducercommutativity/max10-1.yml .8    900    850    31 14000   .012  0   80.0  94.7  .12  .12  16   .078 0  
reducercommutativity/max20-1.yml .8    900    850    31 13000   .012  0   80.0  94.7  .12  .12  16   .078 0  
reducercommutativity/max40-1.yml .8    900    850    31 13000   .012  0   80.0  94.7  .12  .12  16   .078 0  
reducercommutativity/max60-2.yml .8    900    850    31 13000   .012  0   80.0  94.7  .12  .12  16   .078 0  
reducercommutativity/rangesum.yml .0625 .25 .44 31 3.3 0      0   6.25 12.9  .13  .13  16   .082 0  
reducercommutativity/rangesum05.yml .0    .25 .44 31 3.3 0      0   0    0    .059 .060 9.0 0     0  
reducercommutativity/rangesum10.yml .0    .25 .44 31 4.0 0      0   0    0    .075 .081 9.0 0     0  
reducercommutativity/rangesum20.yml .0    .26 .35 31 2.9 0      0   0    0    .065 .067 9.0 0     0  
reducercommutativity/rangesum40.yml .0    .24 .43 31 3.8 0      0   0    0    .060 .060 9.0 0     0  
reducercommutativity/rangesum60.yml .0    .26 .45 31 2.9 0      0   0    0    .059 .060 9.0 0     0  
reducercommutativity/sep.yml .0833 .25 .44 30 3.1 0      0   8.33 17.4  .12  .14  16   .078 0  
reducercommutativity/sep05-1.yml .833  900    850    31 12000   .012  0   83.3  95.2  .13  .13  16   .078 0  
reducercommutativity/sep10-2.yml .833  900    850    31 13000   .025  0   83.3  95.2  .12  .12  16   .078 0  
reducercommutativity/sep20-1.yml .833  900    850    31 13000   .012  0   83.3  95.2  .12  .12  16   .078 0  
reducercommutativity/sep40-1.yml .833  900    850    31 15000   .012  0   83.3  95.2  .11  .11  17   .078 0  
reducercommutativity/sep60-2.yml .833  900    850    31 13000   .012  0   83.3  95.2  .14  .14  17   .078 0  
reducercommutativity/sum.yml .1    .25 .44 31 2.9 0      0   10.0  19.1  .12  .12  17   .078 0  
reducercommutativity/sum05-2.yml .8    900    850    31 14000   .012  0   80.0  94.7  .15  .15  16   .078 0  
reducercommutativity/sum10-1.yml .8    900    850    31 13000   .012  0   80.0  94.7  .12  .12  17   .078 0  
reducercommutativity/sum20-2.yml .8    900    850    31 13000   .012  0   80.0  94.7  .12  .12  16   .078 0  
reducercommutativity/sum40-2.yml .8    900    850    31 14000   .012  0   80.0  94.7  .13  .13  16   .078 0  
reducercommutativity/sum60-2.yml .8    900    850    31 14000   .012  0   80.0  94.7  .12  .12  16   .078 0  
array-tiling/mbpr2.yml .05   .25 .44 30 3.1 0      0   5.00 16.7  .12  .12  16   .082 0  
array-tiling/mbpr3.yml .0417 .26 .45 31 2.9 0      0   4.17 12.1  .12  .12  17   .086 0  
array-tiling/mbpr4.yml .0357 .25 .44 31 3.5 0      0   3.57 9.09 .12  .12  16   .086 0  
array-tiling/mbpr5.yml .0313 .26 .45 31 3.0 0      0   3.13 7.02 .12  .12  16   .090 0  
array-tiling/mlceu.yml .0    .20 .34 31 2.3 0      0   0    0    .076 .077 9.0 0     0  
array-tiling/nr2.yml .0556 .26 .45 30 4.6 0      0   5.56 22.2  .12  .12  17   .082 0  
array-tiling/nr3.yml .0556 .26 .44 30 5.0 0      0   5.56 23.5  .13  .13  17   .082 0  
array-tiling/nr4.yml .0556 .24 .33 30 3.2 0      0   5.56 23.5  .12  .12  16   .082 0  
array-tiling/nr5.yml .0556 .25 .44 31 2.8 0      0   5.56 22.2  .12  .12  16   .082 0  
array-tiling/pnr2.yml .0    .21 .35 30 2.3 0      0   0    0    .062 .063 9.0 0     0  
array-tiling/pnr3.yml .0    .23 .37 31 2.3 0      0   0    0    .061 .062 9.1 0     0  
array-tiling/pnr4.yml .0    .21 .35 31 2.5 0      0   0    0    .064 .065 8.9 0     0  
array-tiling/pnr5.yml .0    .19 .33 30 2.7 0      0   0    0    .059 .060 9.0 0     0  
array-tiling/poly1.yml .0    .19 .33 31 2.8 0      0   0    0    .059 .059 9.0 0     0  
array-tiling/poly2.yml .0    .23 .37 31 2.2 0      0   0    0    .060 .061 9.0 0     0  
array-tiling/pr2.yml .0556 .25 .44 31 2.9 0      0   5.56 20.0  .13  .13  16   .082 0  
array-tiling/pr3.yml .05   .24 .43 31 2.9 0      0   5.00 16.7  .12  .12  16   .082 0  
array-tiling/pr4.yml .0455 .24 .33 30 2.7 0      0   4.55 14.3  .12  .12  16   .082 0  
array-tiling/pr5.yml .0417 .26 .45 31 2.9 0      0   4.17 12.5  .11  .11  17   .082 0  
array-tiling/revcpyswp2.yml .0    .21 .35 31 2.2 0      0   0    0    .059 .060 9.0 0     0  
array-tiling/rew.yml .0    .21 .35 31 2.5 0      0   0    0    .060 .061 9.0 0     0  
array-tiling/rewnif.yml .0    .20 .34 31 2.6 0      0   0    0    .065 .066 8.9 0     0  
array-tiling/rewnifrev.yml .0    .21 .35 31 2.3 0      0   0    0    .060 .061 9.0 0     0  
array-tiling/rewnifrev2.yml .0    .21 .35 30 2.8 0      0   0    0    .062 .066 9.0 0     0  
array-tiling/rewrev.yml .0    .21 .35 30 2.7 0      0   0    0    .061 .062 9.0 0     0  
array-tiling/skipped.yml .0    .20 .33 31 2.6 0      0   0    0    .061 .061 9.0 0     0  
array-tiling/skippedu.yml .0    .21 .35 31 2.5 0      0   0    0    .066 .067 9.0 0     0  
array-tiling/tcpy.yml .0    .21 .35 31 2.2 0      0   0    0    .061 .063 9.0 0     0  
array-programs/copysome1-1.yml .0833 900    840    30 13000   .012  0   8.33 38.5  .36  .36  45   .078 0  
array-programs/copysome1-2.yml .0833 900    840    30 13000   .012  0   8.33 35.7  .36  .36  45   .078 0  
array-programs/copysome2-1.yml .0714 900    840    31 13000   .012  0   7.14 35.3  .38  .37  45   .078 0  
array-programs/copysome2-2.yml .0714 900    840    31 11000   .012  0   7.14 35.3  .37  .37  45   .078 0  
array-crafted/bAnd1.yml .8    900    850    31 12000   .012  0   80.0  94.7  .13  .13  16   .078 0  
array-crafted/bAnd2.yml .8    900    850    30 12000   .012  0   80.0  94.7  .14  .14  17   .078 0  
array-crafted/bAnd3.yml .8    900    840    31 12000   .016  0   80.0  94.7  .40  .40  45   .078 0  
array-crafted/bAnd4.yml .1    900    840    31 14000   .0041 0   10.0  15.8  .37  .37  45   .078 0  
array-crafted/bAnd5.yml .0833 .26 .45 31 3.3 0      0   8.33 17.4  .12  .12  16   .078 0  
array-crafted/bor1.yml .8    900    850    31 13000   .012  0   80.0  94.7  .12  .12  16   .078 0  
array-crafted/bor2.yml .8    900    850    31 12000   .012  0   80.0  94.7  .14  .14  17   .078 0  
array-crafted/bor3.yml .8    900    840    31 12000   0      0   80.0  94.7  .37  .38  45   .078 0  
array-crafted/bor4.yml .1    900    840    31 13000   .012  0   10.0  15.8  .38  .37  45   .078 0  
array-crafted/bor5.yml .0833 .25 .44 31 2.9 0      0   8.33 17.4  .12  .12  17   .078 0  
array-crafted/mapavg1.yml .8    900    850    31 14000   .012  0   80.0  94.7  .12  .12  16   .078 0  
array-crafted/mapavg2.yml .8    900    850    31 13000   .012  0   80.0  94.7  .17  .17  17   .078 0  
array-crafted/mapavg3.yml .8    900    840    31 13000   .012  0   80.0  94.7  .36  .36  45   .078 0  
array-crafted/mapavg4.yml .1    900    840    31 14000   0      0   10.0  15.8  .37  .37  45   .078 0  
array-crafted/mapavg5.yml .0833 .26 .45 31 3.3 0      0   8.33 17.4  .14  .14  16   .082 0  
array-crafted/mapsum1.yml .8    900    850    31 13000   .012  0   80.0  94.7  .12  .12  17   .078 0  
array-crafted/mapsum2.yml .8    900    850    31 14000   .012  0   80.0  94.7  .14  .14  17   .078 0  
array-crafted/mapsum3.yml .8    900    840    31 13000   .012  0   80.0  94.7  .37  .37  45   .078 0  
array-crafted/mapsum4.yml .1    900    840    31 14000   .012  0   10.0  15.8  .36  .36  45   .078 0  
array-crafted/mapsum5.yml .0833 .24 .33 31 3.1 0      0   8.33 17.4  .12  .12  17   .082 0  
array-crafted/xor1.yml .8    900    850    31 13000   .012  0   80.0  94.7  .12  .12  16   .078 0  
array-crafted/xor2.yml .8    900    850    31 12000   .012  0   80.0  94.7  .14  .14  17   .078 0  
array-crafted/xor3.yml .8    900    840    31 12000   0      0   80.0  94.7  .40  .40  45   .078 0  
array-crafted/xor4.yml .1    900    840    30 15000   .012  0   10.0  15.8  .37  .37  45   .078 0  
array-crafted/xor5.yml .0833 .25 .45 31 2.9 0      0   8.33 17.4  .12  .12  16   .078 0  
array-crafted/zero_sum1.yml .0    900    840    31 13000   .012  0   0    0    .40  .40  18   .078 0  
array-crafted/zero_sum2.yml .0    900    840    31 14000   .012  0   0    0    .39  .39  18   .078 0  
array-crafted/zero_sum3.yml .0    900    840    31 13000   .012  0   0    0    .39  .39  18   .082 0  
array-crafted/zero_sum4.yml .0    900    840    31 11000   .012  0   0    0    .41  .41  18   .082 0  
array-crafted/zero_sum5.yml .0    900    840    30 13000   .012  0   0    0    .41  .41  18   .082 0  
array-crafted/zero_sum_const1.yml .0    .20 .35 31 2.4 0      0   0    0    .072 .072 9.0 0     0  
array-crafted/zero_sum_const2.yml .0    .23 .37 31 2.8 0      0   0    0    .059 .060 9.0 0     0  
array-crafted/zero_sum_const3.yml .0    .21 .35 31 2.6 0      0   0    0    .062 .062 9.0 0     0  
array-crafted/zero_sum_const4.yml .0    .20 .34 31 2.2 0      0   0    0    .060 .060 9.0 0     0  
array-crafted/zero_sum_const5.yml .0    .21 .35 31 2.8 0      0   0    0    .058 .059 9.0 0     0  
array-crafted/zero_sum_const_m2.yml .0    .20 .34 31 2.6 0      0   0    0    .059 .060 9.0 0     0  
array-crafted/zero_sum_const_m3.yml .0    .21 .35 31 2.4 0      0   0    0    .064 .065 9.0 0     0  
array-crafted/zero_sum_const_m4.yml .0    .20 .34 30 2.4 0      0   0    0    .060 .061 9.0 0     0  
array-crafted/zero_sum_const_m5.yml .0    .24 .38 31 2.2 0      0   0    0    .073 .075 9.0 0     0  
array-crafted/zero_sum_m2.yml .0    900    840    31 12000   .012  0   0    0    .41  .41  18   .078 0  
array-crafted/zero_sum_m3.yml .0    900    840    31 11000   .012  0   0    0    .39  .39  18   .082 0  
array-crafted/zero_sum_m4.yml .0    900    840    31 13000   .012  0   0    0    .41  .41  18   .082 0  
array-crafted/zero_sum_m5.yml .0    900    840    30 14000   .012  0   0    0    .39  .39  18   .082 0  
array-multidimensional/add-2-n-u.yml .0    .23 .42 31 2.8 0      0   0    0    .058 .059 9.0 0     0  
array-multidimensional/add-3-n-u.yml .0    .25 .45 30 2.9 0      0   0    0    .068 .069 9.0 0     0  
array-multidimensional/copy-2-u.yml .214  900    840    30 13000   .0041 0   21.4  38.2  .38  .38  45   .082 0  
array-multidimensional/copy-3-n-u.yml .0    .26 .45 31 2.8 0      0   0    0    .059 .059 9.0 0     0  
array-multidimensional/copy-partial-2-n-u.yml .0    .23 .42 30 2.8 0      0   0    0    .064 .065 9.0 0     0  
array-multidimensional/copy-partial-3-u.yml .0    .26 .45 30 3.6 0      0   0    0    .063 .064 9.0 0     0  
array-multidimensional/diff-2-n-u.yml .0    .26 .45 31 3.0 0      0   0    0    .058 .059 9.0 0     0  
array-multidimensional/diff-3-n-u.yml .0    .26 .45 31 3.4 0      0   0    0    .066 .067 8.9 0     0  
array-multidimensional/init-2-n-u.yml .9    900    850    30 13000   .012  0   90.0  96.2  .13  .13  17   .078 0  
array-multidimensional/init-3-u.yml .0    .25 .44 31 2.8 0      0   0    0    .063 .064 9.1 0     0  
array-multidimensional/init-4-n-u.yml .0    .25 .44 31 3.0 0      0   0    0    .061 .069 9.0 0     0  
array-multidimensional/init-non-constant-2-n-u.yml .6    900    840    31 11000   .012  0   60.0  73.3  .12  .12  16   .11  0  
array-multidimensional/init-non-constant-3-u.yml .0    .25 .44 31 3.7 0      0   0    0    .063 .065 8.9 0     0  
array-multidimensional/max-2-u.yml .0    .25 .44 31 3.0 0      0   0    0    .060 .061 9.0 0     0  
array-multidimensional/max-3-n-u.yml .0    .24 .43 30 3.5 0      0   0    0    .061 .062 9.0 0     0  
array-multidimensional/min-2-u.yml .0    .25 .44 31 2.8 0      0   0    0    .061 .062 9.0 0     0  
array-multidimensional/min-3-n-u.yml .0    .24 .43 31 3.2 0      0   0    0    .064 .065 9.0 0     0  
array-multidimensional/rev-2-n-u.yml .0    .28 .47 31 2.8 0      0   0    0    .062 .063 9.0 0     0  
array-multidimensional/rev-3-u.yml .0    .24 .44 31 3.0 0      0   0    0    .064 .065 9.0 0     0  
array-multidimensional/transpose-u.yml .214  900    840    30 12000   .012  0   21.4  40.9  .37  .39  45   .061 0  
sv-benchmarks/c/ status score program test-suite TS size inspect test-suite cpu (s) wall (s) mem (MB) energy (J) blkio-w (MB) blkio-r (MB) status program test-suite TS size inspect test-suite cov branch cov (%) line cov (%) cpu (s) wall (s) mem (MB) energy blkio-w (MB) blkio-r (MB)
total 169 42.0 90000 84000 5200 1300000 1.2 0   169 4200 5880 36 37 4100 9.9 0  
Run set prtest.test-comp19_prop-coverage-branches.ReachSafety-Arrays tbf-testsuite-validator-prtest.test-comp19_prop-coverage-branches.ReachSafety-Arrays