Thông qua những mẩu tóm tắt này, chúng ta đã chứng kiến Musk không phải là một con người dễ gần. Chính các cuộc hôn nhân của anh cũng minh chứng cho điều này.
Cưới vợ 3 lần, hai lần cùng một nàng, Musk rất lãng mạn và có trái tim nóng. Tình cảm của anh với cô vợ đầu rất thắm thiết. Tuy nhiên, anh không phải lúc nào cũng là một người chồng biết thương vợ - Justine nhớ lại một lần cô đã phải nhắc anh, có chút phóng đại, rằng cô là vợ, chứ không phải nhân viên của anh. Musk trả lời cô rằng nếu là cấp dưới, thì giờ cô đã bị đuổi việc rồi.
Theo Justine, Musk ra tối hậu thư cho cô vào tháng 6, năm 2008: hoặc họ phải cố hàn gắn tình cảm vợ chồng vào ngày đó, hoặc anh sẽ đệ đơn ly dị sáng hôm sau. Justine muốn đợi một tuần nữa, vì vậy Musk điên tiết và viết đơn ngay hôm sau.
Tuy nhiên, Musk đã đau khổ rất nhiều sau khi bỏ vợ, và người bạn Bill của anh cố khiến anh vui bằng một kì nghỉ ở London. Ở đó, Musk đã gặp diễn viên 22 tuổi Talulah Riley, sau này trở thành vợ thứ hai của anh.
Anh ly dị Riley vào năm 2012, cho rằng anh "mãi yêu cô, nhưng hiện giờ thì không còn yêu nữa". Họ tái hôn ngay sau khi thủ tục li dị hoàn thành, khi anh thấy mình không thể hẹn hò ai bởi lịch làm việc quá bận rộn. (Anh tính toán, một phụ nữ sẽ đòi hỏi được quan tâm tối thiểu 10 giờ/tuần). Vào cuối năm 2014, họ lại chia tay.
Rất nhiều người nghĩ rằng Musk là người đàn ông cứng rắn đến ích kỉ và không quan tâm đến ai. Một số người còn nói anh hoàn toàn không có sự đồng cảm, kể lại lần đuổi việc trợ lý trung thành nhất của anh, Mary Beth Brown, như một ví dụ. Cống hiến hết mình cho Musk, cô từ lâu đã là sợi dây liên kết duy nhất giữa Musk và những dự án của mình. Tuy nhiên, khi cô đòi hỏi được đãi ngộ tương xứng với các giám đốc khác của SpaceX, anh bảo cô hãy tạm nghỉ hai tuần và làm thay việc của cô để xem đòi hỏi này có hợp lý hay không. Khi cô quay lại, anh trả lời rằng anh không cần cô nữa.
Tuy nhiên, bất chấp những thất bại đời tư, những người thân cận nhất với Musk vẫn nói rằng anh là người rất đáng yêu và biết quan tâm. Và Riley nói rằng, cho dù có kín lịch, anh luôn về nhà và ăn tối với gia đình, và chơi điện tử với các con anh.