這樣的協議對內才有效，對外是無效的。除非他們知道你們有這個協議。最好寫一個協議說責任都你丈夫承擔，然后讓銀行的人簽字。否則你是很難證明他們知道你們夫妻間有這個協議的。我覺得如果你已經下定決心要離婚了，現在就可以啊，他出軌了，你就可以根據這個事實多分些財產。而且他還有廠，你也是可以分一半的。如果一直這樣下去，也許他以后會借更多的錢，你要擔的責任只會更多。