我和他认识快一年了，比我大10岁，他曾经在一家金融机构工作近20年，业绩优秀，因为想谋求更好的发展，三年前离开工作单位开始经商。

他第一段婚姻离婚是因为自己婚内出轨，主动提出离婚，净身出户，但是很快与出轨的女人分开，与第一任妻子有一个儿子。因为自己出轨，众叛亲离，期间他的母亲去世，这是他最消沉的日子，遇到了第二任，在一起几个月就有了女儿，孩子一岁多要上户口，不得已才领的结婚证，两个月后又领了离婚证，但是在一起生活了三年，期间争吵不断。

他的第二任妻子家是当地做生意比较大的家族，但是一家人读书不多，在待人处事、对孩子教育方面与他观念差别很大，第二任妻子结过一次婚，没有孩子，谈了10次恋爱，没有一次怀上，与他在一起后多次和前任在经济上、情感上纠缠不清，因为他的人脉关系和头脑，帮助第二任家族的生意起死回生，打赢了上千万的官司。

因为与合伙人开的公司拓展业务，来到我所在的城市，他也和第二任断了来往，但是加了保姆微信，偶尔与女儿视频通话，与第一任生的儿子也通过孩子的婆婆偶尔保持联系。合伙人撤资，在这个城市的业务开展不下去，目前他处于待业状态，已经有5个月，没有一分收入，之前也没有积蓄，之前的积蓄买了三套房子，全部给了儿子女儿，他住在我家，生活所有开销都是我一个人承担，他已经不想再去坐班，想开辟自己的事业，但是现在毫无头绪。

我今年30，家里很着急我的婚姻问题，也很反对我和他在一起。所以，求问大神们，我该怎么办