projects

open research projects of AISA

Ongoing Research Projects

인공지능융합혁신인재양성(아주대학교) 2023-07-01 – 2026-12-31 정보통신기획평가원(IITP)
온디바이스용 플래시메모리 기반 인공지능반도체 프로세서 기술 개발 2025-04-01 – 2029-12-31 정보통신기획평가원(IITP)
SDR 개방형 생태계 구축을 위한 RISC-V 기반 시스템 소프트웨어 기술 개발 2024-07-01 – 2027-12-31 정보통신기획평가원(IITP)
생성형 AI 추론 서비스의 효율적 확장을 위한 엣지-서버 다계층 협력 시스템 2026-09-01 – 2030-08-31 한국연구재단(NRF)


Target Applications

Applications, analysis methods, and algorithm–system co-design.

효율적인 AI 연구는 응용의 목표와 알고리즘을 정확히 이해하는 것에서 시작합니다. AISA는 모델의 수학적 구조, 계산 복잡도, 데이터 특성과 정확도를 먼저 살펴보고, 실제 실행에서 나타나는 성능 특성을 함께 분석합니다. 언어와 에이전트, 로보틱스, 그래프, 뇌공학과 유전체학, 동적 신경망을 주요 응용으로 다룹니다.

  • Language & Agentic AI (LLM inference, reasoning, tool use, test-time scaling) [1]
  • Vision-Language-Action & Robotics (multimodal perception, action generation, robot integration) [2],
  • Graph Intelligence (approximate nearest-neighbor search, graph analytics, GNNs) [3]
  • Emerging Cross-domain AI (neurotechnology, BCI, genomics, and biological sequences) [4] [5]
  • Dynamic Neural Networks (speculative decoding, early exit, mixture-of-experts, dynamic compilation) [6] [7]

응용마다 모델과 데이터는 다르지만 다양한 분석 방법을 공통적으로 활용할 수 있습니다. 수식과 코드를 통해 알고리즘의 정확성, 복잡도와 수치적 특성을 분석하고, 프로파일링, tracing과 hardware counter로 실제 실행을 측정합니다. Benchmarking, modeling과 simulation은 가설을 비교하고 병목과 확장성을 설명하는 데 사용됩니다. 알고리즘과 수학적 이해, 그리고 시스템과 컴퓨터 구조에 대한 이해는 서로를 보완하며, 문제에 따라 가장 설득력 있는 분석 방법과 최적화 지점을 선택합니다.

  • Mathematical foundations: Linear Algebra, Probability, Optimization, and numerical reasoning
  • Algorithms and models: Data Structures and Algorithms, Machine Learning, Attention, and Transformers
  • Analysis methods: Complexity analysis, benchmarking, profiling, modeling, and simulation
  • Systems and tools: Linux, Python, PyTorch, and introductory Computer Architecture
  • Domain extensions: LLMs for language, VLA Models and ROS 2 for robotics



References

  1. GR00T N1: An Open Foundation Model for Generalist Humanoid Robots
    , Johan Bjorck, Fernando Castañeda, Nikita Cherniadev, Xingye Da, Runyu Ding, Linxi "Jim" Fan, Yu Fang, Dieter Fox, Fengyuan Hu, Spencer Huang, Joel Jang, Zhenyu Jiang, Jan Kautz, Kaushil Kundalia, Lawrence Lao, Zhiqi Li, Zongyu Lin, Kevin Lin, Guilin Liu, Edith Llontop, Loic Magne, Ajay Mandlekar, Avnish Narayan, Soroush Nasiriany, Scott Reed, You Liang Tan, Guanzhi Wang, Zu Wang, Jing Wang, Qi Wang, Jiannan Xiang, Yuqi Xie, Yinzhen Xu, Zhenjia Xu, Seonghyeon Ye, Zhiding Yu, Ao Zhang, Hao Zhang, Yizhou Zhao, Ruijie Zheng, and Yuke Zhu,
    arXiv:2503.14734, 2025.
  2. The Cost of Dynamic Reasoning: Demystifying AI Agents and Test-Time Scaling from an AI Infrastructure Perspective
    , Jiin Kim, Byeongjun Shin, Jinha Chung, and Minsoo Rhu,
    2026 IEEE International Symposium on High-Performance Computer Architecture (HPCA), 2026.
  3. Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs
    , Yu. A. Malkov and D. A. Yashunin,
    IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020.
  4. EEGMamba: An EEG foundation model with Mamba
    , Jiquan Wang, Sha Zhao, Zhiling Luo, Yangxuan Zhou, Shijian Li, and Gang Pan,
    Neural Networks, 2025.
  5. HyenaDNA: Long-Range Genomic Sequence Modeling at Single Nucleotide Resolution
    , Eric Nguyen, Michael Poli, Marjan Faizi, Armin W. Thomas, Michael Wornow, Callum Birch-Sykes, Stefano Massaroli, Aman Patel, Clayton M. Rabideau, Yoshua Bengio, Stefano Ermon, Christopher Ré, and Stephen A. Baccus,
    Advances in Neural Information Processing Systems 36, 2023.
  6. Fast Inference from Transformers via Speculative Decoding
    , Yaniv Leviathan, Matan Kalman, and Yossi Matias,
    Proceedings of the 40th International Conference on Machine Learning, 2023.
  7. Introduction to torch.compile
    , PyTorch,
    PyTorch Documentation, 2025.



System-level Optimization (HW & SW Co-design)

A basic cross-layer view of computing systems, from workloads and software to architecture and hardware.

AI 워크로드의 성능은 모델만이 아니라 프레임워크, 컴파일러, 런타임, 운영체제, 메모리 계층과 가속기 구조의 상호작용으로 결정됩니다. AISA는 한 계층의 국소적인 개선에 머물지 않고, 측정과 모델링을 통해 병목의 원인을 찾은 뒤 필요한 계층을 함께 바꾸는 cross-layer co-design을 연구합니다.

  • Computer Architecture and Algorithm for Acceleration (ISA Extension, Performance Modeling) [8], [9], [10], [11]
  • System Software Optimization (DNN Compiler, Runtime, Scheduler) [12], [13], [14], [15]
  • Light-weight Performance Estimation and Simulation (Analytical/Hybrid Modeling, AI-based Estimation) [12], [13]

구체적인 워크로드와 플랫폼을 정한 뒤 다음 방법을 조합하여 설계를 개선합니다.

  1. 프로파일링과 성능 모델링으로 병목 및 확장성 한계를 정량화
  2. 커널 결합, 양자화와 근사화로 연산 및 데이터 이동을 경량화
  3. 스케줄링, 병렬화와 메모리 관리를 통해 자원 활용률을 개선
  4. 명령어 집합과 가속기 구조를 워크로드 특성에 맞게 공동 설계

위 연구는 결국 “주어진 서비스와 제약조건에서 어떤 시스템 설계가 가장 효율적인가?”라는 질문에 답하는 과정입니다. 아이디어는 재현 가능한 실험, 정확한 비교 기준, 그리고 소프트웨어와 하드웨어에 대한 근거 있는 분석으로 검증합니다.

  • Foundations: Computer System Programming, Operating Systems, and Computer Architecture
  • Implementation tools: Linux, C/C++, Python, Git, profiling, and debugging
  • Software systems track: Compilers, runtimes, parallel programming, and performance optimization
  • Hardware systems track: Digital logic, RTL design, memory systems, and accelerator architecture

관련 개발보드 및 컴퓨터

  • NVIDIA Jetson AGX Orin (Embedded GPU Dev. Board - Robotics, Automobile, Edge Server, etc.)
  • NVIDIA Jetson Nano (IoT GPU Dev. Board - Tiny Robots, Sensors, etc.)
  • High-end CPU Server w/ NVIDIA RTX 3090 (Consumer GPU)
  • Alveo U280 for RISC-V CPU + NPU (Open-source Gemmini) Simulation



References

  1. "A^3: Accelerating Neural Network Attention Mechanism with Approximation"
    , Tae Jun Ham, Sung Jun Jung, Seonghak Kim, Young H. Oh, Yoon Ho Song, Junghoon Park, Sanghee Lee, Kyoung Park, Jae W. Lee, and Deog-Kyoon Jeong,
    The 26th IEEE International Symposium on High Performance Computer Architecture, 2020.
  2. "Typed Architectures: Architectural Support for Lightweight Scripting"
    , Channoh Kim, Jaehyeok Kim, Sungmin Kim, Dooyoung Kim, Namho Kim, Gitae Na, Young H. Oh, Hyeon Gyu Cho, and Jae W. Lee,
    The 22nd ACM Architectural Support for Programming Languages and Operating Systems, 2017.
  3. "An eDRAM-Based Approximate Register File for GPUs"
    , Donghwan Jeong, Young H. Oh, and Yongjun ParkJae W. Lee,
    IEEE Design & Test: Special Issues on Approximate Computing, 2016.
  4. "Accelerating Genomic Data Analytics with Composable Hardware Acceleration Framework"
    , Tae Jun Ham, David Bruns-Smith, Brendan Sweeney, Yejin Lee, Seong Hoon Seo, U Gyeong Song, Young H. Oh, Krste Asanovic, Jae W. Lee, and Lisa Wu,
    IEEE MICRO: Special Issue on Top Picks from the 2020 Computer Architecture Conferences, 2021.
  5. "Layerweaver+: A QoS-aware Layer-wise DNN Scheduler for Multi-tenant Neural Processing Units"
    , Young H. Oh, Yunho Jin, Tae Jun Ham, and Jae W. Lee,
    IEICE Transactions on Information and Systems, 2022.
  6. "Layerweaver: Maximizing Resource Utilization of Neural Processing Units via Layer-Wise Scheduling"
    , Young H. Oh, Seonghak Kim, Yunho Jin, Sam Son, Jonghyun Bae, Jongsung Lee, Yeonhong Park, Dong Uk Kim, Tae Jun Ham, and Jae W. Lee,
    The 27th IEEE International Symposium on High Performance Computer Architecture, 2021.
  7. "Angular Distance-Guided Neighbor Selection for Graph-Based Approximate Nearest Neighbor Search"
    , Sungjun Jung, Yongsang Park, Haeun Lee, Young H. Oh, and Jae W. Lee,
    The Web Conference, 2025.
  8. "A Portable Automatic Data Quantizer for Deep Neural Networks"
    , Young H. Oh, Quan Quan, Daeyeon Kim, Seonghak Kim, Jun Heo, Jaeyoung Jang, Sung Jun Jung, and Jae W. Lee,
    The 27th IEEE International Conference on Parallel Architectures and Compilation Techniques, 2018.