刘裕自幼家贫，在他很小的时候，母亲就在生完他的弟弟刘磐以后，因为难产而去世了。
他们的父亲养不了这两个儿子，便抛弃了他们。
好在他们的从母，也就是刘表之妻，伸出了援助之手，兄弟两才勉强活了下来。
但是后来，刘表要去洛阳做官，便带着妻子一起离开了家乡。因为嫌弃刘裕兄弟两尚且年幼，所以并没有一起带走。
没有了从母的接济，刘裕一个人落魄到要以砍柴、打鱼、卖草鞋为生，甚至还给地主家做过佃户，才艰难地养活了自己和年幼的弟弟。
虽然穷，但刘裕却十分地讲义气，常常为了其他贫苦的孩子而打抱不平，出手相助，从而在少年时就结交了不少朋友。
后来他听说叔父刘表，在荆州当了州牧、镇南将军。
时年二十九岁的刘裕便带着弟弟，并在乡中纠集了一帮志同道合的好朋友之后，一同前往荆州投奔刘表。
此时，刘裕他们的从母，也就是刘表的妻子早已病逝多年。刘表单骑入荆州，身边并无亲朋。所以在见到刘裕、刘磐兄弟到来，并且还带着自己的部曲之后，很是高兴，便让二人带着部曲，在大将文聘的军中做了军司马。
之后在荆州的数年里，刘裕、刘磐兄弟两分别与荆州的宗贼、益州军、占据南阳的张绣，甚至曹操的军队交过手。这让兄弟两慢慢积累了丰富的军事经验，也从文聘部下的军司马，慢慢都做到了校尉、中郎将，并且有了独领一军的机会。
再后来，也就是大约两年前，曹操降服了南阳的张绣，并且派遣大将曹仁率兵驻守，时常骚扰荆州的北部边境。
于是，刘表就任命刘磐为将军，负责镇守新野。
而刘裕更是迎来了事业的高峰！
这一年，长沙太守张羡率零陵、桂阳三郡反叛，刘表派遣刘裕为主将，领兵一万前往征讨。
在长达一年多的征战中，刘裕常常身先士卒，每一战都能挫败叛军，他的军事才能得到了充分的体现。
他不仅作战勇猛，披坚执锐，冲锋陷阵，而且指挥有方，富有智谋，善于以少胜多。
后来张羡病死，长沙人又立了他的儿子——张怿为主。
刘裕轻轻松松就攻破了长沙，并任命部将昌义之在此地担任守将，接着又先后平定了零陵、桂阳二郡。
在这一年多的时间里，刘裕手下的一万大军也逐渐壮大到了五万人。早年跟随他的乡中好友也大多做到了校尉、中