Hand analysis in gesture-based interfaces : design of an accurate real-time algorithm

Abstract

Hloubkové sensory prodělaly v posledních letech velký kvalitativní vzestup. Zařízení jako je Microsoft Kinect prokázaly svou schopnost poskytovat spolehlivá 3D data o okolním prostoru. To vedlo ke vzniku nových uživatelských rozhraní, založených na snímání lidských rukou. Vědci nyní zkoumají rozdílná paradigmata uživatelské interakce, nicméně ideální řešení dosud nebylo nalezeno, neboť na uživatele jsou stále kladena mnohá omezení. I přes velké pokroky v oboru přirozených uživatelských rozhraní, kde je uživatel osvobozen od práce s jakýmkoliv pomocným vstupním zařízením, klávesnice a myš je v roce 2015 stále hlavním paradigmatem interakce s počítačem. Hlavním důvodem je vysoká komplexnost úloh analýzy lidské ruky a interpretace gest. Tato práce prezentuje algoritmus detekce ruky pro přesný výpočet souřadnic špiček prstů a dalších parametrů ruky na základě snímku ruky získaného z hloubkové kamery. Algoritmus správně analyzuje jak rovné, tak ohnuté prsty a je rotačně invariantní. Algoritmus lze použít pro vývoj uživatelského rozhraní založeného na gestech rukou, jako je TouchTable. TouchTable je multi-modální uživatelské rozhraní vyvinuté v rámci této dizertace. Práce prezentuje výhody navrženého algoritmu oproti dosud publikovaným metodám. Přesnost algoritmu je vyhodnocena pomocí DepthTipu, nové veřejné datové sady, která slouží k vyhodnocování algoritmů počítajících souřadnice prstů.