Виктор Старухин родился 1 мая (по другим данным 16 марта или 4 мая) 1916 в Нижнем Тагиле в семье Константина Федотовича и Евдокии Федоровны Старухиных, которые владели лесопилкой. После революции и отступления из города сил Колчака в 1919, будучи сторонниками Белого Движения, они вместе с другими выходцами из Российской Империи оказываются в Китае. Дорога туда была достаточно опасной и неприятной, так как пришлось ехать в одном вагоне с больными тифом. В 1925 Cтарухины по временным визам переезжают в Японию на остров Хоккайдо. Виктор пошёл в школу Асакихава Хигаши, где познакомился с новой и быстро набиравшей популярность игрой - бейсболом, и вскоре стал локальной звездой, чему способствовали физические данные - рост 193 и вес 104 кг. Потом его фамилия трансформировалась в Старфин. После окончания школы он хотел поступить в Университет Васэда. Одновременно правительство приняло новый закон, запрещавший профессиональным спортсменам получать высшее образование. Виктор подумывал завязать с профессиональным спортом.