STT · LLM 의료 서비스 풀스택 개발자

홍정의

음성인식(STT)과 LLM 기반 의료 서비스를
클라이언트부터 서버·인프라까지 만들고 운영합니다.

  • 서버 · 백엔드
  • 모바일 앱
  • STT · LLM 서비스
  • 병원 시스템 구축 · 운영
프로젝트 보기 연락하기

About

About Me

음성인식(STT)·LLM 기반 의료 서비스를 모바일·웹 클라이언트부터 백엔드·인프라까지 개발하고 운영해 온 풀스택 개발자입니다. 현재 ㈜퍼즐에이아이에서 서버파트 파트장으로 재직 중이며, 병원 현장 구축과 서버 운영, 외부 파트너 SDK 연동까지 서비스가 실제로 돌아가는 끝단을 책임지고 있습니다.

  • Name: 홍정의
  • Position: ㈜퍼즐에이아이 서버파트 파트장 (2025.04 ~ 재직 중)
  • Career: 2020.02 ~ 현재 · 실무 5년+
  • Address: 서울시 관악구
  • Email: wjddmldpdy@gmail.com
  • Phone: +82-10-8470-0959
  • GitHub: github.com/justicehong

0 Projects

5년+ 실무 경력 2020년부터 의료 음성인식 서비스 개발
STT · LLM 주요 도메인 음성인식 · LLM 요약 기반 의료 AI 서비스
Full Stack 담당 범위 클라이언트 · 백엔드 · 인프라 · 현장 운영
5 배포 플랫폼 Windows · macOS · Android · iOS · Web

Work Experience

2025.04 ~ 재직 중

서버파트 파트장 · Full Stack Developer

㈜퍼즐에이아이

STT·LLM 기반 의료 서비스(AI 진료기록, 의료진용 모바일 앱, 임베디드 SDK)의 클라이언트·백엔드·인프라 개발과 병원 서버 운영을 담당하며, 서버파트를 리딩하고 있습니다.

기술 스택

Spring Boot(Java) · Vue3 · TypeScript · Android/iOS 웹뷰 하이브리드 앱 · Python(PyQt6 · FastAPI) · MySQL · Docker · Nginx · Traefik · Ubuntu · AWS · STT Gateway(WebSocket) · LLM 프롬프트 템플릿(Gemma4) · Soniox API

주요 업무
  • AI 진료기록 서비스 2.0: 병원별 EMR 연동 Agent 개발과 현장 구축·시연(대학병원 2곳), Mac 클라이언트 유지보수
  • 의사·간호사용 의료 모바일 앱(Android/iOS) 프론트 개발과 스토어 배포, MQTT 기반 병실 환자 요청·알림 기능, 병원별 서버 설정·외부 고객사 계정 연동·실시간 번역 기능 도입
  • 진료기록·LLM 요약 백엔드(Spring Boot) API 개발, 프롬프트 템플릿 설계·검수, LLM 모델 교체(gpt-oss 120B → Gemma4) 계획·이관
  • 차세대 EMR 임베디드 STT/LLM SDK PoC 담당: 샘플 클라이언트·개발 매뉴얼 작성, PoC 서버 구축과 모델 업데이트
  • 해외(일본) 병원 시스템용 JS SDK 패키징·연동 문서 제공과 기술 지원, 실시간 음성 통번역 서비스 도입·운영
  • 병원 서버 구축·운영: Docker 기반 STT/LLM/DB/Gateway 설치, 장애 분석, 보안 점검, SSL 갱신 자동화, DB 이중화 운영
  • 기술 검토·문서화: Windows 클라이언트 스택 비교(Electron+React vs PySide6), 내부망 웹뷰 앱 DNS/DMZ 구성, 환자정보 마스킹 설계, 작업계획서·구매기안
2024.09 ~ 2025.03 (6개월)

대형병원 음성인식 · LLM 서비스 솔루션 개발

㈜퍼즐에이아이 (프리랜서) · 국내 대형병원 프로젝트

국내 대형병원에 공급하는 음성인식·LLM 서비스 솔루션의 Windows 클라이언트 개발을 프리랜서로 담당했습니다.

기술 스택

Python · PyQt6

주요 업무
  • 음성인식·LLM 서비스 솔루션 Windows 클라이언트 개발
  • 음성 커맨드 기능
  • 병원 정보시스템 연동
  • 업데이트 및 배포 관리 기능
2020.02 ~ 2024.02 (4년)

Full Stack Developer

㈜퍼즐에이아이

초기 스타트업 단계에 합류해 프론트·백엔드 개발부터 병원 현장 CS 대응까지 담당했습니다. 의료진(교수진)의 의견을 직접 받아 요구사항에 반영하며 음성인식 서비스, 회원 관리 서비스, 사내 전사 시스템을 개발했습니다.

기술 스택

Python · Django · FastAPI · React · PostgreSQL · Docker · Nginx · Ubuntu · Git

주요 업무
  • 초기 멤버로 프론트·백엔드 개발과 병원 현장 CS 대응 병행, 의료진(교수진) 피드백을 수렴해 기능 개선에 반영
  • Windows 클라이언트 개발
  • 회원 관리 및 사용 통계를 위한 홈페이지 구축
  • 음성인식 모델 서비스를 위한 서버 구축
  • 음성모델 부하 분산을 위한 프록시 서버 구성
  • 학습 데이터 확보를 위한 전사자 페이지 구축

Projects

㈜퍼즐에이아이 · 서버파트 파트장 (2025.04 ~ 현재)

2025.04 07 10 2026.01 04 07 10 현재
EMR 임베디드 SDK PoC
2026.07 ~
실시간 음성 통번역
2026.07 ~
일본 파트너사 JS SDK
2026.05 ~
의료진용 모바일 앱
2025.08 ~
AI 진료기록 2.0 Agent
2025.04 ~
LLM 요약 백엔드 API
2025.04 ~
병원 서버 구축 · 운영
2025.04 ~
환자 설문 서비스
2025.04 ~ 07 유지보수 · 간헐 대응

재직 기간(2025.04 ~ 현재) 동안 프로젝트별 진행 구간입니다. 연한 막대는 유지보수·간헐 대응 구간이며, 이름을 누르면 상세 항목으로 이동합니다.

2026.07 ~ 현재

차세대 EMR 임베디드 STT/LLM SDK PoC

국내 대형병원 · PoC 개발 담당 기술 스택

Puzzle SDK(DLL) · Python · FastAPI · vLLM · Docker

주요 내용
  • 병원 제공 시나리오(라벨 선택 항목·SOAP 입력·혼합 구성) 기반 전용 샘플 클라이언트와 개발 매뉴얼 작성·전달
  • SDK 연결 방식 개선(STT 시작 시점 서버 연결), 마이크 장치 선택, 서버 무응답 안내 등 안정성 개선
  • PoC 서버 설치 작업계획서 작성 및 LLM 모델 업데이트(Gemma4) 수행
  • 병원 IT 부서·사내 사업기획 부서와 일정·요구사항 조율
2026.07 ~ 현재

실시간 음성 통번역 서비스

외부 API 도입 · 고객 기술 지원 · 행사 운영 기술 스택

Soniox STT·번역 API · Gateway 인터페이스 · 웹 샘플

주요 내용
  • 외부 음성인식·번역 API 도입 검토(리전 요청, 동시 세션 제한, 비용 산정) 및 계정·크레딧 운영
  • 고객사(제조 대기업) 대상 Gateway 인터페이스 안내와 웹 샘플 코드 제공
  • 학회 행사 실시간 통번역 운영 준비 및 구매 기안
2026.05 ~ 현재

해외(일본) 병원 시스템 AI 기능 — JS SDK 연동 지원

일본 의료 IT 파트너사 · 기술 지원 기술 스택

JavaScript SDK · WebSocket STT Gateway · LLM 요약 API · 일본어 음성인식 모델

주요 내용
  • 회진 시 모바일 상담 녹음·요약 기능 도입을 위한 Puzzle SDK 웹버전(JS) 패키징, 연동 문서와 전용 앱키 제공
  • 일본어 음성인식·번역 세션 장애 문의 대응: 서버 리소스 이슈 조치 후 정상 확인 회신
  • LLM 요약 정책 등 기술 문의 응대
2025.08 ~ 현재

의료진용 모바일 앱 — 의사·간호사 (Android / iOS 하이브리드)

앱 프론트 개발 · 빌드 · 스토어 배포 기술 스택

Vue3 · TypeScript · Spring Boot · Android(Kotlin) / iOS 웹뷰 · MQTT · AWS · Soniox 번역 API

주요 내용
  • 노트 작성, 환자 선택, 기록 조회, 바코드 스캔 등 의사·간호사 업무 지원 기능 프론트 개발
  • 병실 환자가 간호사에게 요청을 보내면 MQTT 기반으로 실시간 전달·알림되는 환자 요청 기능 탑재
  • Android·iOS 빌드와 스토어 배포, 병원별 서버·게이트웨이 주소를 앱에서 설정할 수 있도록 기능 개선
  • 외부 고객사 계정 연동 기능 추가 및 AWS 환경 배포
  • Soniox 기반 모바일 실시간 번역 기능 도입
2025.04 ~ 현재

AI 진료기록 서비스 2.0 — 병원별 EMR 연동 Agent

Agent 개발 · 현장 구축 · 클라이언트 유지보수 기술 스택

Python · PyQt6 · OpenCV · EMR 화면 연동 · macOS 클라이언트

주요 내용
  • 대학병원 2곳의 EMR 연동 Agent 개발(병원별 서식 기능 구현)과 현장 출장·시연 지원
  • Mac 클라이언트 유지보수: 서명 인증서 관리, 크래시 개선, 빌드 환경 정비
  • 화면 자동화에 비전 LLM 도입 타당성 검토 — OpenCV 우선 처리 + 실패 시 모델 호출 하이브리드 구조 제안
2025.04 ~ 현재

진료기록 · LLM 요약 백엔드 API

Spring Boot 백엔드 · LLM 프롬프트 템플릿 설계 기술 스택

Spring Boot(Java) · MySQL · LLM 프롬프트 템플릿 · Gemma4 · vLLM

주요 내용
  • 기록 조회·기간 검색 API 개발, 레포 구조 정리(프론트 분리)
  • 프롬프트 템플릿 설계·검수: 환자명/환자번호 추출 정확도 개선(테스트 케이스 20종), 날짜 등 비판정 슬롯은 서버에서 치환하도록 설계
  • LLM 모델 교체(gpt-oss 120B → Gemma4 26B/31B) 작업계획서 작성과 설정 이관
  • Java 25(LTS) · Spring Boot 4 보안 업그레이드 계획 수립
2025.04 ~ 현재

병원 서버 구축 · 운영 · 장애 분석

상급종합병원 등 다수 병원 서버 기술 스택

Docker · Ubuntu · Nginx · Traefik · MySQL(keepalived 이중화) · HikariCP · Shell Script

주요 내용
  • STT/LLM/DB/Gateway 서버 Docker 기반 설치 작업계획서 작성·구축, 병원 현장 업데이트 출장과 정기점검
  • 퇴원요약 연동: 장기재원 여부에 따라 요약 방식을 분기하는 배치 워커와 목업 API 구현
  • 장애 분석: ASR 서버 응답 지연(Traefik 로그 분석), HikariCP·MySQL 좀비 커넥션, DB 이중화 운영
  • 운영 보안: 서버 취약점 점검 결과 정리·조치, 계정 감사, 다중 서비스 SSL 인증서 일괄 갱신 스크립트
2025.04 ~ 현재 (2025.07 이후 유지보수)

환자 설문 서비스 (STT · TTS · LLM)

설문 앱 개발 · 유지보수 기술 스택

Spring Boot · Vue.js · Kotlin(Android) · TTS · LLM

주요 내용
  • STT·TTS 기반 설문 앱 개발, 다국어 지원, TTS 2종(오디오 파일/실시간)과 캐시 스토리지 적용
  • 진료기록 시스템 사용자 정보 연동, LLM 기반 설문 데이터 분석
  • 설문지 기능 수정 요청 대응

이전 경력 (2020 ~ 2025)

2024.09 ~ 2025.03

대형병원 음성인식 · LLM 서비스 솔루션 (프리랜서)

㈜퍼즐에이아이 · 국내 대형병원 프로젝트 기술 스택

Python · PyQt6

주요 내용
  • 음성인식·LLM 서비스 솔루션 Windows 클라이언트 개발, 음성 커맨드 기능, 병원 정보시스템 연동, 업데이트 및 배포 관리 기능
2023.01 ~ 2023.12

전사자 페이지 개발

㈜퍼즐에이아이 기술 스택

React · TypeScript · Django REST framework · PostgreSQL · Docker Compose

주요 내용
  • 전사자 회원 관리, 음성·텍스트 데이터 관리와 검색을 통한 업무 생성
  • 웹 페이지 내 실시간 전사 기능 구현
2020.02 ~ 2024.01

VoiceEMR · VoiceENR

㈜퍼즐에이아이 기술 스택

PyQt5 · Django · MySQL · Nginx · uWSGI · Docker

주요 내용
  • 초기 스타트업 단계에서 프론트·백엔드 개발과 병원 현장 CS 대응을 병행, 의료진(교수진) 피드백 기반으로 기능 개선
  • Windows 클라이언트 개발, 회원 및 라이선스 관리 페이지
  • 음성인식 서버 구축 및 로드밸런싱, 모바일 백엔드 서버 개발

교육 · 개인 프로젝트

2019.10 ~ 2019.12

개인정보처리방침 위반 사이트 탐색

Team.PIG (Personal Information Guide) · 케이쉴드 주니어 3기 기술 스택

PyQt5 · MySQL · Elasticsearch · Logstash · Kibana

주요 내용
  • 개인정보처리방침 위반 여부 검증 알고리즘, ELK를 통한 데이터 시각화
산출물 보기
2016.03 ~ 2016.11

Windows 기반 백업 · 복원 솔루션

Possum · 한국IT직업전문학교 (프로젝트 경진대회 최우수상) 기술 스택

Ubuntu · MongoDB

주요 내용
  • Windows 시스템 전체 백업·복원 기능
상장 보기

Skills

주력 현재 실무에서 주로 사용하는 기술   보조 경험이 있어 바로 투입 가능한 기술

Backend

Spring Boot (Java) Python REST API 설계 FastAPI Django · DRF 배치 워커 WebSocket

Frontend · App

Vue3 TypeScript Android / iOS 웹뷰 하이브리드 앱 PyQt6 (Windows · macOS) Kotlin React Flutter JavaScript SDK

Infra · Database

MySQL Docker · Docker Compose Ubuntu Nginx · Traefik AWS PostgreSQL keepalived (DB 이중화) SSL 인증서 운영

AI · Voice

STT Gateway (WebSocket) LLM 프롬프트 템플릿 설계 Gemma4 · vLLM 서버 운영 Soniox 음성인식 · 번역 API TTS OpenCV 화면 자동화

Ops · Collaboration

장애 분석 (ASR 지연 · DB 커넥션) 서버 보안 점검 App Store · Google Play 배포 작업계획서 · 기술검토 문서화 Git Notion

Education

2019.12

케이쉴드 주니어 3기

사이버 보안 실무 인력 양성 프로그램

Team.PIG 프로젝트 (개인정보처리방침 위반 여부 시각화 프로젝트)
웹봇 및 자체 알고리즘을 통한 위반 여부 확인 및 ELK 시각화

2017 ~ 2019

정보보호병 복무 — 침해사고대응팀

군 네트워크 작전 조직 산하 사이버방호 부대

군 네트워크 보안관제 조직의 침해사고대응팀(CERT)에서 근무.
IPS, 방화벽, 바이러스 탐지체계, NAC, WAF 등 보안장비 운용·정책 관리와 ESM 기반 보안 관제, 취약점 진단, 침해사고 대응 업무 수행. 서버 물리 구성 및 네트워크 구성 지원.

2015 ~ 2023

정보보호학 전공

학점은행제 & 한국IT직업전문학교

제14회 한국IT직업전문학교 프로젝트 경진대회 최우수상
자격증: 정보처리기사, 네트워크관리사 2급

현재 ㈜퍼즐에이아이에서 재직 중입니다.

STT·LLM 기반 의료 서비스를 만들고 운영하는 일을 하고 있습니다.
기술 교류, 협업, 좋은 기회에 대한 제안은 언제든 환영합니다.

연락하기

Contact

Contact Me

메일이나 GitHub로 편하게 연락 주세요.

Address

서울시 관악구

Contact Number

+82 10 8470 0959

Email Address

wjddmldpdy@gmail.com