头些年里其实都没什么问题，毕竟李家姑娘本也是因为一些不能说出口的原因而被夫家赶出来的。她原本的夫家郑家因为攀上了一门好亲事，让她原先的夫婿迎娶了他座师家因为过了花期在婚嫁上有些艰难的女儿，自然更不会想到这个下堂妇的孩子，唯恐碍了如今太太的眼。谁知道那女孩却不知道什么原因，嫁进来几年都并无生育，后来寻大夫来看的时候只说是她似乎并没能力生养。郑家虽也不算小门小户，但是这李家姑娘的夫婿却是家里的独子，并没嫡亲的兄弟，便是过继也只能寻血缘远一些的人家，自然很有些心不甘情不愿，不想绝了香火，偏那娶来的太太又颇有些善妒不许他纳妾，到底无奈之下还是想起了曾经的那个孩子。
而这回轮到李家不情愿了——别看郑家改门换户的已经算是官家了，但是只之前那一买卖就显然已经把李家得罪死了。哪怕撇开李家兄弟姐妹之间的情分不算，只为了所谓读书人的清白名节，他们也不可能低头和郑家握手言和。
于是，李三郎索性就借着来江南的机会带着自己的妻儿和外甥一块出来了。
李三郎是李家里这一辈里头独一个的举人，算起来若不是他自己想着继续往上考，以举人的名分仔细钻磨