Io faccio sempre attenzione quando inserisco o rimuovo il connettore USB, fino ad ora non ho avuto alcun problema. Detto ciò se ne senti la necessità penso che costruire una struttura in colla a caldo attorno alla porta, oltre che aumentare il peso, non avrà conseguenze sulla scheda. Ho già in passato usato la colla a caldo in simili situazioni (non nel modellismo, ma su schede elettriche).
Fai solo attenzione a non toccare alcun componente che potrebbe scaldare (o la colla si scioglierebbe di nuovo, facendo un pasticcio), e chiaramente a non ostruire la porta stessa. Un consiglio che ti posso dare eventualmente è di costruire una piccola mascherina da piazzare davanti alla porta (piccola abbastanza perché non possa passare, ma grande abbastanza da ospitare il connettore), poi metti due piccole viti ai lati della mascherina, e anneghi la porta e le viti nella colla a caldo. Una soluzione simile dovrebbe darti il massimo della tenuta che puoi avere, usando solo la colla a caldo.