Em primeiro lugar, o baú amplifica qualquer problema que exista na sua moto, porém eu analisaria primeiro a centralização do baú, pois qualquer desbalanceio dele pode causar o fenômeno. Outra coisa, o peso do baú também deve ser o mais centralizado possível.
Na minha moto também está ocorrendo esse fenômeno, porém eu já identifiquei o problema. É um pequeno "calo" na cx de direção. Só que sem baú o problema não aparece. a moto anda normalmente, chegando a sugerir que é o baú seu causador, mas eu sei que não é pois só apareceu recentemente, e já foi diagnosticado o tal "calo".
Então, se seu baú está bem centralizado na moto, vc não põe peso exessivo nem fora do centro, então o problema é outro e deve ser pesquisado. Pode ser a cx de direção, bengala torta ou c/ óleo vencido, pneu com calombo, roda descentralizada, etc. etc. etc.