La frutta contiene fruttosio, solitamente i momenti maggiormente indicati per assumere fruttosio sono la mattina a colazione (frutta ad alto IG), il pre-wo (frutta a basso IG) ed il post wo (frutta ad alto IG).
Mangiare la frutta a fine pasto dopo aver assunto carboidrati complessi, rende molto probabile che tale fruttosio venga stoccato in grasso.
Vero che tu hai un metabolismo molto alto, ma questo non significa che (volendo) puoi ottimizzare.

Se il calo dura 3 sedute o una settimana mi sembra una cosa normale, le cause possono essere diverse come ti hanno già consigliato gli utenti prima di me (giovinezza di allenamento, troppi esercizio a cedimento, ecc.)