Детство братьев Джо и было нелегким. Их родители – польские иммигранты – переехали в Канаду в 1925 году. Доходы семьи были очень низкие, поэтому в десять лет братьям пришлось забросить учебу и устраиваться на работу.
Они жили в неблагоприятном районе и часто были случаи избиения и ограбления. Собственно, именно по этой причине они начали заниматься спортом: Бен – боксом, Джо – тяжелой атлетикой. Ребята быстро достигли успехов. Через некоторое время у них в копилке были медали за 2 место по боксу и 1 место по тяжелой атлетике на чемпионате Канады.
Затем Джо победил на соревнованиях по культуризму. Следует сказать, что тогда этот вид спорта был практически не развит. После такого знаменательного события братья Вейдер организовывают федерацию бодибилдинга. Бен занимался продвижением федерации на международном уровне. Он побывал в Европе, где этот вид спорта называется не бодибилдингом, а культуризмом.
Также ему удостоилось посетить СССР, где ему дали однозначный ответ, что бодибилдинга в СССР нет и не будет. Джо же в то время начал писать книгу о правильных тренировках, которая в последствие стала классикой.