Database5 [Vector] Vector Database 벡터단 하나의 숫자로 나타낼 수 없는 양을 벡터라고 한다.모델 학습을 위해 사용하는 데이터나 가중치 혹은 모델의 결과값으로 나타나는 값들을 모두 벡터의 형태로 취급.벡터 임베딩을 관리하기 위해 구축벡터 임베딩데이터를 벡터로 전환.주제, 단어, 이미지 또는 기타 데이터를 숫자로 표현임베딩이라고도 하는 벡터 임베딩은 대규모 언어모델 및 기타 AI모델에 의해 생성된다.각 벡터 임베딩 사이의 거리는 벡터 데이터베이스 또는 벡터 검색 엔진이 벡터 간의 유사성을 결정할 수 있게 해준다.복합 비정현 데이터를 임베딩으로 변환.벡터 데이터베이스벡터DB를 통해서 AI에 시맨틱 정보 검색, 장기 메모리 등의 고급 기능들을 구현 가능임베딩 모델을 통해서 인덱싱할 콘텐츠의 벡터 임베딩을 생성벡터 임베딩들을 벡터DB에 삽입. 임.. 2025. 4. 11. [Redis] Cluster vs Sentinel Sentinel기능모니터링Master/Slave 제대로 동작하는지 지속적 감시자동 장애 조치하단 설명알림failover 되었을 때 pub/sub 으로 Client에 알리거나, shell script로 이메일이나 sms를 보낼 수 있다.Sentinel을 홀수 대로 구성해야 한다.Redis가 Master를 승격하는 과정에서 투표를 하게되는데, 다수결로 Master 승격 여부를 결정할 수 있기 때문에 홀수로 구성해야한다. 짝수로 구성하게되면 auto failover를 하지 못하게 될 수 있다.동작 방식Sentinel 인스턴스 과반 수 이상이 Master 장애를 감지하면 Slave 중 하나를 Master로 승격시키고 기존의 Master는 Slave로 강등시킨다.Slave가 여러개 있을 경우 Slave가 새로운 .. 2025. 4. 11. [DataBase] Index Index?Index는 말 그대로 책의 맨 처음 또는 맨 마지막에 있는 색인이라고 할 수 있다.컬럼의 값과 해당 레코드가 저장된 주소를 키와 값의 쌍으로 Index를 만든다.DBMS의 Index는 항상 정렬된 상태를 유지하기 때문에 원하는 값을 탐색하는데에는 빠르다.하지만, 새로운 값을 추가하거나 삭제, 수정하는 경우에는 쿼리문 실행 속도가 느려진다.즉, 데이터의 저장 성능을 희생하고 대신 데이터의 읽기 속도를 높이는 기능이다.장점테이블을 조회하는 속도와 그에 따른 성능 향상시스템 부하 감소단점인덱스 관리를 위한 추가 작업자칫 잘못 사용하게 되면 역효과SELECT 쿼리문장의 WHERE 조건절에 사용되는 컬럼이라고 전부 인덱스로 생성해버린다면, 데이터 저장 성능이 떨어지고 인덱스의 크기가 비대해져 오히려 .. 2025. 4. 10. [DataBase] Intro DataBase는 왜 사용할까?데이터베이스가 존재하기 이전에는 파일 시스템을 이용해 데이터를 관리하였다. 데이터를 각각의 파일 단위로 저장하며 이러한 일들을 처리하기 위한 독립적인 애플리케이션과 상호 연동이 되어야한다. 이 때의 문제점은 데이터의 중복성,무결성이다.DataBase의 특징독립성물리적데이터베이스 사이즈를 늘리거나 성능 향상을 위해 데이터 파일을 늘리거나 새롭게 추가해도 관련된 응용 프로그램을 수정할 필요가 없다.논리적데이터 베이스는 논리적인 구조로 다양한 응용 프로그램의 논리적 요구를 만족시켜줄 수 있다.무결성여러 경로를 통해 잘못된 데이터가 발생하는 경우의 수를 방지하는 기능으로 데이터의 유요성 검사를 통해 데이터의 무결성을 구현보안성인가된 사용자들만 데이터베이스나 데이터베이스 내의 자원에.. 2025. 4. 10. [Redis] Intro 메모리 key/value 데이터구조 스토어로컬 환경에서 레디스 호출 EC2 인스턴스에 레디스를 설치해 인스턴스 메모리를 사용해 사용하는 방법클라우드 서비스를 이용해 외부 자원을 사용운영 중인 웹 서버에서 키-값 형태의 데이터 타입을 처리해야하고, I/O가 빈번히 발생해 다른 저장 방식을 사용하면 효율이 떨어지는 경우 사용 ex) 조회수와 같은 카운트 형태의 데이터, 사용자 세션관리,API캐싱인메모리컴퓨터의 메인 메모리 RAM에 데이터를 올려서 사용하는 방법을 말한다.why?속도 때문 SSD,HDD 같은 저장곤간에서 데이터를 가져오는 것보다 RAM에 올려진 데이터를 가져오는데 걸리는 속도가 훨씬 빠르다. 때문에 Redis는 빠른 속도가 큰 장점이다.레디스의 스키마는 데이터를 정규화하고, 데이터 로우에 대해.. 2024. 11. 28. 이전 1 다음
