L'équipe nationale japonaise a participé à son premier tournoi international lors des 3e Jeux d'Extrême-Orient, organisés à Tokyo en 1917, où le Japon était représenté par l'équipe du YMCA de Kyoto. Plus tard, l'équipe a été membre fondateur de la compétition olympique de basket-ball de Berlin en 1936.
Le Japon dispute le premier tour au sein du groupe B, composé du Panama, de la Nouvelle-Zélande, l'Allemagne, l'Angola et l'Espagne. Les Japonais jouent alors leur premier match contre l'Allemagne et perd 81 à 70. Lors son deuxième match, le Japon affronte l'Angola et subit une seconde défaite 87 à 62. Le Japon obtient une victoire contre Panama 78 à 61 avec 25 points de Yuta Tabuse, le meneur de l'équipe japonaise. Celle-ci perd son quatrième match contre la Nouvelle-Zélande 60 à 57. Pour sa dernière rencontre, le Japon ne peut absolument rien faire contre l'équipe espagnole menée par le pivot Pau Gasol qui marque 31 points et qui fait gagner l'Espagne 104 à 55. Le Japon ne passa pas le premier tour.
Résultats
Palmarès
Palmarès de l'équipe du Japon en compétitions officielles