Changes between Version 4 and Version 5 of AutomationInventory


Ignore:
Timestamp:
Jun 10, 2014, 2:35:16 PM (5 years ago)
Author:
isis
Comment:

add regression tests column; update bridgedb's testing infrastructure info

Legend:

Unmodified
Added
Removed
Modified
  • AutomationInventory

    v4 v5  
    55
    66Columns marked with an 'X' do not necessarily mean full coverage, but that
    7 there is at least a framework where new tests can be added. ''Unit'' means “unit tests”, ''Integ.'' means “integration tests” and ''C.I.'' means “continuous integration” (tests/builds automatically run after each commit).
     7there is at least a framework where new tests can be added. ''Unit'' means “unit tests”, ''Regr.'' means "regression tests", ''Integ.'' means “integration tests” and ''C.I.'' means “continuous integration” (tests/builds automatically run after each commit).
    88
    9 || '''Repository'''                   || '''Description'''                  || '''Unit''' || '''Integ.''' || '''C.I.''' || '''Languages'''  || '''Comments'''
    10 || arm.git                            || Command-line status monitor...     ||            ||              ||            || Python           ||                                                                                                                             ||
    11 || atlas.git                          || A web application to discover...   ||            ||              ||            || JavaScript (web) ||                                                                                                                             ||
    12 || brdgrd.git                         || Protects Tor bridges from...       ||            ||              ||            || C                || Is brdgrd still useful?                                                                                                     ||
    13 || bridgedb.git                       || The bridge distribution database   || [https://gitweb.torproject.org/user/isis/bridgedb.git/tree/refs/heads/develop:/lib/bridgedb/test X] || Sort of. There is [https://gitweb.torproject.org/user/isis/bridgedb.git/blob/refs/heads/develop:/scripts/gen_bridge_descriptors a way to generate fake bridge descriptors] for testing purposes. || [https://travis-ci.org/isislovecruft/bridgedb X] || Python           || Missing a staging environment, and Nagios checks for both staging and production                                       ||
    14 || builders/gitian-builder.git        || Tor's version of the gitian...     ||            ||              ||            || Ruby, Shell      ||                                                                                                                             ||
    15 || builders/tor-browser-bundle.git    || Build scripts for the Tor...       ||            ||              ||            || Shell            || Should the build system itself be tested? Probably just the result…                                                         ||
    16 || chutney.git                        || The chutney tool for testing...    ||            ||              ||            || Python           ||                                                                                                                             ||
    17 || compass.git                        || Script and website to extract...   ||            ||              ||            || Python + webdev  || Also missing a staging environment and Nagios checks                                                                        ||
    18 || flashproxy.git                     || Browser-based proxy                ||            ||              ||            || Py, JS, Go       || Also missing a staging environment and Nagios checks for the facilitator (?)                                                ||
    19 || gettor.git                         || Distributors for the Tor softw...  ||            ||              ||            || Python           || Also missing a staging environment and Nagios checks                                                                        ||
    20 || githax.git                         || Miscellaneous git support...       ||            ||              ||            || Shell, Perl, Py  ||                                                                                                                             ||
    21 || metrics-db.git                     || Metrics data processor and...      ||            ||              ||            || Java             || Staging? Nagios checks?                                                                                                     ||
    22 || metrics-lib.git                    || A Java library that fetches...     ||     X      ||              ||            || Java             || ''phased out for Stem''                                                                                                     ||
    23 || metrics-utils.git                  || Metrics utilities                  ||            ||              ||            || Java, Python     || Contains ExoneraTor and VisiTor. Repository should be split. ExanoraTor should have a staging environment and Nagios checks ||
    24 || metrics-web.git                    || Metrics website                    ||            ||              ||            || Java + webdev    || Staging? Nagios checks?                                                                                                     ||
    25 || onionoo.git                        || A web-based protocol to learn...   ||     X      ||              ||            || Java             || Staging? Nagios checks?                                                                                                     ||
    26 || ooni-probe.git                     || open observatory of network...     ||            ||              ||     X      || Python           || C.I done by Travis                                                                                                          ||
    27 || ooni/oonib.git                     || open observatory of network...     ||            ||              ||     X      || Python           || C.I done by Travis. Staging? Nagios checks?                                                                                 ||
    28 || pluggable-transports/bundle.git    || Pluggable transports browser...    ||            ||              ||            || Makefile         ||                                                                                                                             ||
    29 || pluggable-transports/obfsproxy.git || Python pluggable transport...      ||     X      ||      X       ||     X      || Python           ||                                                                                                                             ||
    30 || pluggable-transports/pyptlib.git   || Python pluggable transport...      ||     X      ||              ||     X      || Python           ||                                                                                                                             ||
    31 || pyonionoo.git                      || A web-based protocol to learn...   ||            ||              ||            || Python           ||                                                                                                                             ||
    32 || stegotorus.git                     || Steganographic stealth proxy...    ||     X      ||      X       ||            || C++              ||                                                                                                                             ||
    33 || stem.git                           || Tor control library for Python     ||     X      ||      X       ||     X      || Python           || C.I. also doing integration test for tor control port code                                                                  ||
    34 || tlsdate.git                        || Learn the current time from...     ||     X      ||              ||     X      || C                ||                                                                                                                             ||
    35 || tor-browser.git                    || The Tor Browser                    ||     X      ||      X       ||            || C++              || TBB patches are breaking some tests                                                                                         ||
    36 || tor-cloud.git                      || Tor images for the cloud           ||            ||              ||            || Shell            ||                                                                                                                             ||
    37 || tor-launcher.git                   || tor-launcher component of TBB      ||            ||              ||            || JavaScript / XUL || Might not really be testable outside TBB                                                                                    ||
    38 || tor-ramdisk.git                    || Build system for x86/x86_64...     ||            ||              ||            || Shell            ||                                                                                                                             ||
    39 || tor.git                            || Tor's source code                  ||     X      ||              ||     X      || C                || C.I. for Linux, Windows, Linux with clang                                                                                   ||
    40 || torbirdy.git                       || Torbutton for Thunderbird...       ||            ||              ||            || JavaScript / XUL ||                                                                                                                             ||
    41 || torbrowser.git                     || Scripts to build the Tor Brows...  ||            ||              ||            || Shell            ||                                                                                                                             ||
    42 || torbutton.git                      || Firefox extension for safe...      ||            ||              ||            || JavaScript / XUL || Might not really be tesable outside TBB                                                                                     ||
    43 || tordnsel.git                       || DNS exitlist checker               ||     X      ||              ||            || Haskell          ||                                                                                                                             ||
    44 || torflow.git                        || Python tools for measuring...      ||     X      ||              ||            || Python           || Not all components have unit tests                                                                                          ||
    45 || torouter.git                       || Torouter packaging utensils...     ||            ||              ||            || Shell, Makefile  ||                                                                                                                             ||
    46 || torperf.git                        || Tor performance evaluation...      ||            ||              ||            || Python, C        ||                                                                                                                             ||
    47 || torsocks.git                       || Wrapper to safely torify appli...  ||     X      ||              ||            || C                ||                                                                                                                             ||
    48 || translation-tools.git              || tools to manage the translatio...  ||            ||              ||            || Shell            ||                                                                                                                             ||
    49 || weather.git                        || Email alerts for Tor relay...      ||            ||              ||            || Python           || Also missing a staging environment and Nagios checks                                                                        ||
    50 || webstats.git                       || Code and website to sanitize...    ||            ||              ||            || Java             ||                                                                                                                             ||
     9|| '''Repository'''                   || '''Description'''                  || '''Unit''' || '''Regr.''' || '''Integ.''' || '''C.I.''' || '''Languages'''  || '''Comments'''
     10|| arm.git                            || Command-line status monitor...     ||            ||             ||              ||            || Python           ||                                                                                                                             ||
     11|| atlas.git                          || A web application to discover...   ||            ||             ||              ||            || JavaScript (web) ||                                                                                                                             ||
     12|| brdgrd.git                         || Protects Tor bridges from...       ||            ||             ||              ||            || C                || Is brdgrd still useful?                                                                                                     ||
     13|| bridgedb.git                       || The bridge distribution database   || [https://gitweb.torproject.org/bridgedb.git/tree/refs/heads/develop:/lib/bridgedb/test X] || [https://gitweb.torproject.org/bridgedb.git/blob/HEAD:/lib/bridgedb/test/test_Tests.py This test suite] runs [https://gitweb.torproject.org/bridgedb.git/blob/HEAD:/lib/bridgedb/Tests.py the old unittests] twice, monkeypatching in the old code and the new code rsp., to guarantee compatible behaviour with unchanged code. || Fake bridge descriptors are generated with [https://gitweb.torproject.org/user/isis/leekspin.git Leekspin] for testing purposes. || [https://travis-ci.org/isislovecruft/bridgedb X] || Python           || Missing Nagios checks for the reachability of the BridgeDB service on [https://bridges.torproject.org the production server]. ||
     14||  There is currently [https://bridges-test.torproject.org a staging instance] (only run while being actively tested) setup on the production server, however, because BridgeDB's [mailto:bridges@torproject.org email distributor] cannot have two instances running on the same server, there is a new dedicated server for the staging instances which needs to be finished  being setup.                                      ||
     15|| builders/gitian-builder.git        || Tor's version of the gitian...     ||            ||             ||              ||            || Ruby, Shell      ||                                                                                                                             ||
     16|| builders/tor-browser-bundle.git    || Build scripts for the Tor...       ||            ||             ||              ||            || Shell            || Should the build system itself be tested? Probably just the result…                                                         ||
     17|| chutney.git                        || The chutney tool for testing...    ||            ||             ||              ||            || Python           ||                                                                                                                             ||
     18|| compass.git                        || Script and website to extract...   ||            ||             ||              ||            || Python + webdev  || Also missing a staging environment and Nagios checks                                                                        ||
     19|| flashproxy.git                     || Browser-based proxy                ||            ||             ||              ||            || Py, JS, Go       || Also missing a staging environment and Nagios checks for the facilitator (?)                                                ||
     20|| gettor.git                         || Distributors for the Tor softw...  ||            ||             ||              ||            || Python           || Also missing a staging environment and Nagios checks                                                                        ||
     21|| githax.git                         || Miscellaneous git support...       ||            ||             ||              ||            || Shell, Perl, Py  ||                                                                                                                             ||
     22|| metrics-db.git                     || Metrics data processor and...      ||            ||             ||              ||            || Java             || Staging? Nagios checks?                                                                                                     ||
     23|| metrics-lib.git                    || A Java library that fetches...     ||     X      ||             ||              ||            || Java             || ''phased out for Stem''                                                                                                     ||
     24|| metrics-utils.git                  || Metrics utilities                  ||            ||             ||              ||            || Java, Python     || Contains ExoneraTor and VisiTor. Repository should be split. ExanoraTor should have a staging environment and Nagios checks ||
     25|| metrics-web.git                    || Metrics website                    ||            ||             ||              ||            || Java + webdev    || Staging? Nagios checks?                                                                                                     ||
     26|| onionoo.git                        || A web-based protocol to learn...   ||     X      ||             ||              ||            || Java             || Staging? Nagios checks?                                                                                                     ||
     27|| ooni-probe.git                     || open observatory of network...     ||            ||             ||              ||     X      || Python           || C.I done by Travis                                                                                                          ||
     28|| ooni/oonib.git                     || open observatory of network...     ||            ||             ||              ||     X      || Python           || C.I done by Travis. Staging? Nagios checks?                                                                                 ||
     29|| pluggable-transports/bundle.git    || Pluggable transports browser...    ||            ||             ||              ||            || Makefile         ||                                                                                                                             ||
     30|| pluggable-transports/obfsproxy.git || Python pluggable transport...      ||     X      ||             ||      X       ||     X      || Python           ||                                                                                                                             ||
     31|| pluggable-transports/pyptlib.git   || Python pluggable transport...      ||     X      ||             ||              ||     X      || Python           ||                                                                                                                             ||
     32|| pyonionoo.git                      || A web-based protocol to learn...   ||            ||             ||              ||            || Python           ||                                                                                                                             ||
     33|| stegotorus.git                     || Steganographic stealth proxy...    ||     X      ||             ||      X       ||            || C++              ||                                                                                                                             ||
     34|| stem.git                           || Tor control library for Python     ||     X      ||             ||      X       ||     X      || Python           || C.I. also doing integration test for tor control port code                                                                  ||
     35|| tlsdate.git                        || Learn the current time from...     ||     X      ||             ||              ||     X      || C                ||                                                                                                                             ||
     36|| tor-browser.git                    || The Tor Browser                    ||     X      ||             ||      X       ||            || C++              || TBB patches are breaking some tests                                                                                         ||
     37|| tor-cloud.git                      || Tor images for the cloud           ||            ||             ||              ||            || Shell            ||                                                                                                                            ||
     38|| tor-launcher.git                   || tor-launcher component of TBB      ||            ||             ||              ||            || JavaScript / XUL || Might not really be testable outside TBB                                                                                    ||
     39|| tor-ramdisk.git                    || Build system for x86/x86_64...     ||            ||             ||              ||            || Shell            ||                                                                                                                             ||
     40|| tor.git                            || Tor's source code                  ||     X      ||             ||              ||     X      || C                || C.I. for Linux, Windows, Linux with clang                                                                                   ||
     41|| torbirdy.git                       || Torbutton for Thunderbird...       ||            ||             ||              ||            || JavaScript / XUL ||                                                                                                                             ||
     42|| torbrowser.git                     || Scripts to build the Tor Brows...  ||            ||             ||              ||            || Shell            ||                                                                                                                             ||
     43|| torbutton.git                      || Firefox extension for safe...      ||            ||             ||              ||            || JavaScript / XUL || Might not really be tesable outside TBB                                                                                     ||
     44|| tordnsel.git                       || DNS exitlist checker               ||     X      ||             ||              ||            || Haskell          ||                                                                                                                             ||
     45|| torflow.git                        || Python tools for measuring...      ||     X      ||             ||              ||            || Python           || Not all components have unit tests                                                                                          ||
     46|| torouter.git                       || Torouter packaging utensils...     ||            ||             ||              ||            || Shell, Makefile  ||                                                                                                                             ||
     47|| torperf.git                        || Tor performance evaluation...      ||            ||             ||              ||            || Python, C        ||                                                                                                                             ||
     48|| torsocks.git                       || Wrapper to safely torify appli...  ||     X      ||             ||              ||            || C                ||                                                                                                                             ||
     49|| translation-tools.git              || tools to manage the translatio...  ||            ||             ||              ||            || Shell            ||                                                                                                                             ||
     50|| weather.git                        || Email alerts for Tor relay...      ||            ||             ||              ||            || Python           || Also missing a staging environment and Nagios checks                                                                        ||
     51|| webstats.git                       || Code and website to sanitize...    ||            ||             ||              ||            || Java             ||                                                                                                                             ||
    5152Not considered:
    5253