Mrt 19 2009

Amerikaanse Rekenkamer: risico overlap testen en productie (deel 1)

Gepubliceerd door JSFNieuws.nl om 9:34 onder Ontwikkeling JSF

Arlington, VA (USA)/Den Haag – De Amerikaanse Rekenkamer (US-GAO) bracht vorige week het vijfde rapport uit inzake het JSF Programma. Met name de overlap tussen testen en productie wordt als risico gezien; de US GAO verwacht dat de ontwikkelfase twee jaar extra, tot 2016, zal vergen. Tevens dringt de Rekenkamer aan op het snel realiseren van vaste prijs contracten om de voor de belastingbetaler risicovolle niet bindende prijs contracten niet te lang te laten voortduren. In drie artikelen gaan we in detail in op dit US-GAO rapport.

Introductie

De Amerikaanse Rekenkamer (U.S. Government Accountability Office ofwel US-GAO) bracht donderdag 12 maart 2009 een nieuw rapport uit over de F-35 Joint Strike Fighter (JSF) met de prikkelende titel “Accelerating Procurement before Completing Development Increases the Government’s Financial Risk”. Opmerkelijk feit deed zich voor dat vrijdag enkele uren na verschijnen het rapport van de website werd gehaald om er pas vrijdagavond laat weer op te verschijnen. Voor ieder die op enigerlei wijze betrokken is bij de verwerving van de JSF is het belang om een goede studie te maken van het US-GAO rapport, en zich daarbij niet te beperken tot de management samenvatting aan het begin. De juiste beslissingen nemen op het juiste tijdstip bij de verwerving van de JSF is van het grootste belang voor de NATO defensie organisaties, gelet op het feit dat de JSF decennialang de ruggengraat van de NATO luchtmachten zal vormen. Omdat niet iedereen de moeite zal nemen het complete rapport te downloaden en te lezen werken we in dit artikel met een aantal citaten van de kernpunten uit de samenvatting en geven daar een toelichting bij.

Het US-GAO rapport van vorig jaar, maart 2008

Wie zich het US-GAO rapport herinnert van vorig jaar, herinnert zich de voorspelling van vertragingen, aanzienlijke kostenoverschrijdingen, gebrekkige boekhoudmethoden en de benoeming van tal van risico’s in het projectmanagement, de productie en het testprogramma.
Maar de US-GAO werd door het JSF Program Office en door het Pentagon, en in Nederland openlijk door Staatssecretaris van Defensie Jack de Vries neerbuigend neergezet in de trant van “Ach, de Amerikaanse Rekenkamer, organisatie van beroepspessimisten, die baseert zich op oude gegevens, het valt wel mee, US-GAO weet niet de juiste cijfers”. Een maand later, in april, maakte de JSF Program Office al bekend dat de ontwikkeltijd “mogelijk” een jaar langer zou worden. En nu een jaar later blijkt de Amerikaanse Rekenkamer het op vrijwel alle relevante en door hen in 2008 gesignaleerde punten bij het rechte eind te hebben. Extra reden om de US GAO, dit instituut van democratische controle, niet opnieuw te negeren en conclusies uit hun rapport dit jaar weer te bagatelliseren. Het verdient aandacht dat tot op heden de uitkomsten uit het viertal US-GAO rapporten over de JSF nog steeds zijn uitgekomen, jaar na jaar. En in het verleden bleek de US-GAO het bij het rechte eind te hebben met hun rapporten inzake de F-22 Raptor, de B-2 bommenwerper, de Comanche helicopter en de V-22 Osprey helicopter (25 jaar ontwikkeling, 150 miljard dollar, 80 stuks gebouwd). Inderdaad, de US-GAO zijn beroepspessimisten, maar de realiteit bleek dat pessimisme telkens te bevestigen.

Teststrategie risicovol

Een van de meest opvallende thema’s, in 2008 al nadrukkelijk aan de orde gesteld is de teststrategie. De US GAO schrijft hierover: “DOD’s revised test plan adds a year to the schedule, better aligns resources and availability dates, and lessens the overlap between development and operational testing, but it still allows little time for error discovery and rework. DOD’s decision late in 2007 to reduce test aircraft and flight tests adds to risks while any additional delays in delivering test aircraft will further compress the schedule. The revised plan relies on state-of-the-art simulation labs, a flying test bed, and desk studies to verify nearly 83 percent of JSF capabilities. Only 17 percent is to be verified through flight testing. Despite advances, the ability to so extensively substitute for flight testing has not yet been demonstrated.
Maar waarschuwt het US-GAO: “By then, DOD plans to have purchased 62 operational aircraft and will be ramping up procurement.” En tevens is het simultaan lopen van veel testwerk en dus het gelijktijdig van meer op elkaar in werkende, aan de oppervlakte komende ontwikkelingsproblemen een risico. De US-GAO tekent daarbij aan dat het testplan opgesteld door het JSF Program Office weinig ruimte biedt voor foutdetectie en foutherstel.

Testen JSF is vooral simulatie en analyse

Wanneer we nagaan dat er 460 JCS Specification Requirements; 1554 Verification Objectives en 3116 Success Criteria benoemd zijn in het JSF project en we realiseren ons dat slechts 17% daarvan in de harde, weerbarstige praktijk van fysiek testvliegen zal worden bevestigd, een historisch en uniek novum in de industriële productie van een complex product, gaat nadenken en rekenen. . Puur vertrouwen op grondtests in deze mate is nog nooit bewezen als vervanging voor werkelijke fysieke testvluchten, zo stelt daarom de US-GAO. Het vertrouwen op computerberekening, simulaties en grondlaboratoria is ongekend. Zelfs 19% van de testcriteria wordt alleen middels analyse vanachter het bureau geverifieerd, niet meer dan dat. Per ultimo 2008 is slechts 1% van dat fysieke testvliegen uitgevoerd, dat is omgerekend 0,17% van het totale test- en verificatieprogramma getest middels fysiek testen. En dan nog grotendeels met een niet-productierepresentatief, structureel aanzienlijk te veranderen prototype, de JSF AA-1. Desondanks is de productie begonnen en blijven de officials van het JSF Program Office en de fabrikant optimistisch: “Officials expect to deliver all test aircraft and fix many problems by 2010″.

Overlap testen en productie groot risico

De US-GAO ziet de aanzienlijke overlap tussen testen en aanvang van productie als een groot operationeel en financieel risico: “Significant overlap of development, test, and procurement results in DOD making substantial investments before flight testing proves that the JSF will perform as expected. Under the accelerated procurement plan, DOD may procure 360 aircraft costing an estimated $57 billion before completing development flight testing.”
Dit wordt toch doorgezet, ondanks planningsproblemen, sterker nog het Pentagon maakte in de herfst van 2008 zelfs plannen de productie versneld te verhogen: “Despite cost and schedule troubles, DOD wants to accelerate JSF procurement by 169 aircraft from fiscal years 2010 through 2015; this could require up to $33.4 billion in additional procurement funding for those 6 years. DOD plans to procure hundreds of aircraft on cost-reimbursement contracts, magnifying the financial risk to the government.
Met name het feit dat het hier tot 2015 om een extra impuls gaat van US$ 33,4 miljard ofwel US$ 197 miljoen per JSF in de vroege productiefase en dat op een soort nacalculatiebasis vindt de US-GAO een kwalijke zaak. Ze ziet dit als een bewijs dat fabrikant Lockheed Martin kennelijk zelf (nog) geen risico durft te nemen in dit stadium en dit risico op deze wijze afwentelt op de belastingbetaler. Overigens lijkt dat in het huidige begrotingsklimaat onder president Obama nauwelijks verdedigbaar.

Pentagon niet eens met deze US-GAO conclusie

In een aan het rapport toegevoegde reactie, gedateerd 5 maart geeft David Ahern van de Office of the Under Secretary of Defense’s director for portfolio systems acquisition aan dat hij vraagtekens heeft bij de cijfers van de US-GAO: “Since the FY 2010 President’s budget had not yet been submitted to Congress at the time of the draft report, the fact is that much of the data that the GAO used as the basis of their report and to support its recommendation was pre-decisional, the JSF program of record remained as submitted in the FY 2009 President’s Budget, adjusted by the FY 2009 Defense Appropriations Bill. The department believes that the GAO’s use of pre-decisional budget information to support its findings is largely conjectural, and likely to create confusion if the final FY 2010 program of record is different than what the GAO reported.” Kortom, David Ahern vindt dat de US-GAO cijfers, nog gebaseerd op hun onderzoek van eind 2008 verwarring kan scheppen, omdat de echte begrotingscijfers voor 2010 anders zullen uitwijzen.

Plannning volgende publicaties over Amerikaanse Rekenkamerrapport JSF 2009 (onder voorbehoud):
Vrijdag, deel 2 “Prijsverhogingen en consortium buy”
Zaterdag, deel 3 “Inefficienties in de productie; software risico’s”

Bron:
US-GAO; 12-maart-2009; “Accelerating Procurement before Completing Development Increases the Government’s Financial Risk

JSFNIEUWS090318-Redactieteam

Comments RSS

Reageer ook

Je moet ingelogd zijn om een reactie te kunnen plaatsen.