В этой семье бабушка имела доминантный признак наследственной короткопалости, но была гетерозиготна (Аа), ведь только в этом случае

У потомков ожидалось расщепление 50%. Аа и  50% аа. Расщепление признака у внуков отличается от ожидаемого.  
Брахидактилия (короткопалость) наследуется по аутосомно-доминантному признаку. А генотипы дедушки и бабушки были определены путем подбора генотипа по этому признаку. Т. к. у детей сына и у детей самих бабушки и дедушки наблюдалось расщепление по признаку, значит кто-то из них был носителем гена короткополости (но не больным, потому что расщепления бы не было), а кто-то здоровым. По условию ясно, что нормальные пальцы были у дедушки, а значит бабушка была носителем. Ну а генетики изучали наследуемость признака по методу анализа родословных.