蔡湘对红豆有敌意，红豆察觉到，平日尽可能地躲避，不与她发生冲突，各处忍让。
越是如此，那蔡湘越是跋扈，让身边丫鬟乱嚼舌根，说红豆在酒肆里便不庄重，说是卖唱，实际和客人做些勾当，没脸没皮，腹中胎儿究竟姓谁的，还是两说。
这些话丫鬟仆人们议论，被李清照听到，不许胡说，命其自己掌嘴，那丫鬟不服，辩解：“我又不是乱说，她既然做出，为何不能说？”
那是蔡湘的丫鬟，李清照管制不住，只能告知婆婆。
张氏气的胸口喘，取藤条抽丫鬟，蔡湘出面阻挡，当众人面质问红豆，“你敢对天发誓，腹中胎儿一定是官人所有？”
红豆泪水涟涟，哭道，“奴只有过官人一个男人。”
蔡湘骂道：“荒唐下贱，似你这般长相，官人瞎了眼会看上你？且去外面走一遭，可有几个男人能喜欢？还不是见官人仁慈，便编了谎言来哄他。”
红豆被骂的哭，张氏气的浑身抖，命令蔡湘住口，蔡湘不听，气的张氏举藤条要打她，蔡湘立时恼怒，挺着肚皮，“便朝这里来吧，将官人唯一的骨肉打了去，我也省的烦心，没了也好，一了百了。”
张氏气的跺脚，遇到这样的刁蛮泼妇，根本无法处理。
红豆也不知道自己哪里得罪她，只是个哭，见老夫人为难，自行回房。
也是巧，元丰又来请红豆回家小住，蔡湘有气，也不推脱，便跟了元丰回去蔡家。
蔡湘走后，张氏安慰红豆，当李清照面说，“我的儿子我知道，他不会乱说，他亲口告诉我，你是她的女人，腹中胎儿也是他的，便绝不会错。你只管安心休养，其他事情我来处理。”
又对李清照商议，如今家庭收入低，那些丫鬟奴仆，该遣散的就遣散了。这便是嫌弃蔡湘的仆人太多，架子太大，要杀她的威风。
李清照晓得，蔡湘离去只带了一个贴身丫鬟秋香，其他都留在侯府，便召集了来，每人发了五贯，让他们自行离开。
丫鬟仆人们痛哭流涕，不愿意走，李清照心狠，端是不留，哭了一场，几个人收拾包袱离去。
至此，家里男人只剩下门房和马夫，丫鬟只有一个翠莲，清静了不少。无论做饭还是家务，老夫人张氏都会帮手，李清照见状也不敢闲着，做些力所能及的事。
蔡湘回家第二日就得到消息，自己的丫鬟仆人都被遣散，又寻到蔡府，气的跳脚，说婆婆欺人太甚。
元丰适时进言，