Testing

▶️ Intro: Let Me Be Nel post precedente abbiamo continuato il nostro viaggio affrontando uno scenario più complesso, utilizzando un mix di gdb e valgrind per tracciare l’esecuzione di tutte le funzioni all’interno di un dato binario. Questa volta reggetevi forte perché aumenteremo notevolmente la complessità. Ci immergeremo nell’analisi di basso livello ed esploreremo come utilizzare Intel PIN, un potente framework di strumentazione dinamica per manipolare e ispezionare il codice eseguibile a runtime. ...

▶️ Introduzione Nel post precedente abbiamo iniziato il nostro viaggio con uno scenario molto semplice, e abbiamo utilizzato una comoda funzionalità del linguaggio di programmazione Go per misurare quale percentuale del programma target viene esercitata dal nostro test. Questa volta sperimenterò una Proof of Concept su come ottenere una stima della metrica di copertura del codice di test per un normale programma binario, senza alcuna ricompilazione. In questo esempio faremo finta che il nostro compito sia scrivere test di integrazione per il famoso programma gzip, e cercheremo di misurare i progressi che stiamo facendo riguardo alla copertura dei nostri test. ...

☂️ Introduzione Quando il vostro codice include una suite di unit test, la copertura del codice (code coverage) è una metrica importante per misurare l’efficacia dei test ed è piuttosto facile da ottenere; ci sono moltissimi strumenti in circolazione. Crediti immagine: Nataliya Vaitkevich D’altra parte, spesso abbiamo anche bisogno di eseguire test di integrazione o E2E (end-to-end), poiché nei nostri flussi di QA eseguiamo principalmente applicazioni reali piuttosto che singole funzioni isolate. ...

Perché? Durante il mio lavoro quotidiano mi capita a volte di dover fare il debug di job di test openQA falliti. Uno dei mantra del testing è riprodurre il problema e per questo compito la community di openQA ha sviluppato alcuni strumenti. In pratica, ho spesso un output come questo qui sotto proveniente da alcune operazioni di clonazione dei job: Cloning parents of sle-15-SP4-Server-DVD-Updates-x86_64-Build20250112-1-fips_ker_mode_gnome@64bit 1 job has been created: - sle-15-SP4-Server-DVD-Updates-x86_64-Build20250112-1-fips_ker_mode_gnome@64bit -> https://openqa.suse.de/tests/16425390 Cloning parents of sle-15-SP5-Server-DVD-Updates-x86_64-Build20250112-1-fips_ker_mode_gnome@64bit 1 job has been created: - sle-15-SP5-Server-DVD-Updates-x86_64-Build20250112-1-fips_ker_mode_gnome@64bit -> https://openqa.suse.de/tests/16425391 Cloning parents of sle-15-SP4-Server-DVD-Updates-x86_64-Build20250112-1-fips_ker_mode_gnome@64bit 1 job has been created: - sle-15-SP4-Server-DVD-Updates-x86_64-Build20250112-1-fips_ker_mode_gnome@64bit -> https://openqa.suse.de/tests/16425392 E quando voglio monitorare quei job, dovrei copiare e incollare tutti gli URL dei job e passarli come argomenti alla fantastica utilità openqa-mon, che mostrerà e mi notificherà lo stato dei job nel terminale. ...