祖母のモナシノウクや伯母の金成マツと暮らす中で、アイヌ語や多くの口承文芸を吸収していきました。
 旭川で暮らしていた１５歳のとき、言語学者の金田一京助と出会い、その勧めもあって、口承文芸の筆録を始めます。大正１１年（１９２２年）５月に上京して金田一宅で『アイヌ神謡集』の刊行準備を進めますが、９月に心臓病により急逝しました。『アイヌ神謡集』は翌年に刊行され、当時の多くの人々に感銘を与え、現在も、アイヌ文学の世界に誘う作品として親しまれています。知里真志保の姉。

明治２５年（１８９２年）から英国聖公会宣教協会が函館に設けた学校に学び、明治３１年（１８９８年）から平取や旭川の近文でキリスト教伝道に従事しました。姪の知里幸恵とともに旭川で暮らしていたとき、言語学者・金田一京助の訪問を受け、このころから研究者の調査にも協力するようになり、幸恵の死後、母モナシノウクから伝承したユカﾗの筆録をはじめます。ローマ字で書かれたこれらのノートは約１００冊。その一部は『アイヌ叙事詩　ユーカラ集』として刊行されましたが、未訳のノートもたくさん残されています。無形文化財保持者、紫綬褒章受章。

旧制室蘭中学校から一高、東京帝国大学へと進学、その間に言語学者の金田一京助と出会い、アイヌ語研究を志します。樺太庁博物館の技術員や北海道大学の教員として研究を進め、『分類アイヌ語辞典』など多くの業績を残し、その研究は今も多くの研究者に影響を与えています。アイヌ民族に対する差別や、アイヌ研究の中の誤りやずさんさを強く批判し、その存在と主張は多くのアイヌ民族にとっての精神的支柱にもなりました。友人でアイヌ語地名研究者の山田秀三との共同研究など様々な研究を進めましたが、病のため５２歳で亡くなりました。知里幸恵の弟。

仙台鉱山監督局長を務めたとき、東北の地名に関心を持ったことが、アイヌ語地名に取り組むきっかけになったとされます。昭和２０年（１９４５年）に退官した頃から、自らは「道楽」と称した地名研究がはじまりました。
 昭和２４年（１９４９年）、登別市にできた北海道曹達株式会社の社長に就任すると、そのかたわら、北海道・東北での地名調査を精力的に進めていき、知里真志保と深い交友関係を持つようになります。
 山田の研究手法は、アイヌ語に関する知識と、古文献・古地図に関する博識を基礎に、一つ一つの地名について文献や地図を徹底的に調べ、その上で現地を確認する、さらに、同型・同名の地名はくまなく調べ比較検討するという、実証的・科学的なもので、アイヌ語地名研究の水準と蓄積を大きく前進させました。