분류 전체보기

논문 링크 Abstract & Introduction최근 연구는 효율적인 신경망 아키텍처 개발에 집중되고있다.본 연구에서는 Logic Gate Networks를 활용하여 기계학습 task를 수행하는 방법을 제시 Logic Gate Networks는 "AND"나 "XOR" 같은 Logic Gate로 구성되어 매우 빠른 실행속도를 제공Logic Gate Networks는 전통적으로 미분불가능하여 Gradient Descent를 통한 훈련이 어려움효과적인 훈련을 위해, 실수값 논리와 연속적으로 파라미타화된 네트워크 완화(relaxation)를 결합한 Differentiable Logic Gate Networks라는 아키텍처를 제안입력값들이 여러 층의 논리게이트를 거치면서 처리된다. 각 논리게이트는 두개의 입력..

논문 링크Abstract해당 논문은 잠재 공간 (latent space)에서 사고하여 테스트 시점(test-time)에서 연산을 확장할 수 있는 새로운 언어 모델 아키텍처를 제안한다. 기존 모델들은 Chain-of-Thought (COT) 방식으로 더 많은 토큰을 생성하며 연산을 확장했다.반면, 본 연구의 모델은 재귀 블록(recurrent block)을 반복적으로 실행하여 임의의 깊이로 연산을 진행한다. 특수한 훈련 데이터 없이도 동작하며, 작은 context window에서도 효과적인 학습이 가능하다. 언어로 표현하기 어려운 다양한 유형의 추론을 학습할 수 있다. 연속 공간에서의 사고를 통한 확장 (Scaling by Thinking in Continuous Space)기존 접근법의 한계초기 언어 모..

원문링크 섀도잉이란업다운게임 튜토리얼에서 보았듯이, 이전 변수와 같은 이름으로 새로운 변수를 선언할 수 있습니다.  let mut guess = String::new(); io::stdin().read_line(&mut guess).expect("Failed to read line"); let guess: u32 = match guess.trim().parse() { Ok(num) => num, Err(_) => continue, };guess가 두번 선언됨 이를 변수 가리기 (Shadowing)이라고 합니다. 두번째 변수가 첫번째 변수를 가린다는 뜻으로, 해당 변수 이름을 사용할 때 컴파일러가 두번째 변수를 인식한..

원문링크 불변 변수 (Immutable Variables)와 같이, 상수 (Constants)는 값이 한번 바운딩되면 변경이 불가능합니다.그러나, 변수와 상수에는 몇가지 차이가 있습니다. 변수와 상수의 차이mut 키워드 사용불가상수에는 mut 키워드를 사용할 수 없습니다.상수는 기본적으로 불변인 것 뿐만 아니라, 항상 불변입니다. 상수를 선언할때는 let 대신 const 키워드를 사용하며,값의 타입을 반드시 명시해야 한다.    범위 (Scope)상수는 전역범위를 포함한 모든 스코프에서 선언할 수 있습니다. (물론 해당 스코프를 벗어나지는 않습니다) Rust는 일반변수(let)를 사용하여 전역범위에서 선언하는 것을 허용하지 않습니다.const MAX_POINTS: u32 = 100; // 전역 상수, l..

원문링크 2장에서 업다운 게임을 만들때, guess 변수를 생성하면서Rust는 기본적으로 변수들이 "불변 (immutable)"이라고 언급한 바 있습니다. 이는 Rust가 제공하는 안전성과 쉬운 병렬처리를 활용하도록 유도하는 여러가지 특징 중 하나입니다.그러나 우리는 guess 변수를 "가변 (mutable)" 변수로 선언하였습니다. 다른 언어를 사용하다 왔으면 왜 이렇게 불편하게 만들어놨는지 의문이 드실겁니다.Rust가 왜 불변성을 권장하는지, 그리고 어떨 때 가변 변수를 선택해야 할지 살펴보겠습니다. 불변 변수 (Immutable Variable)변수가 불변일때, 특정 값이 변수에 바인딩되면 그 값을 변경할 수 없습니다. 진짜로 그런지 살펴보겠습니다. 새로운 프로젝트를 만들고, main.rs의 코드를..

원문링크 업다운게임을 만들어보면서 러스트의 기본 문법을 익혀보겠습니다프로젝트 만들기cargo new guessing_gamecd guessing_gamecargo new로 새로운 프로젝트를 생성할 수 있습니다. cargo new로 프로젝트를 생성하면 아래 파일이 기본적으로 생성됩니다:- Cargo.toml프로젝트의 메타데이터 (이름, 버전, 의존성)에 대한 정보가 들어가있습니다.js의 package.json과 같은 역할을 합니다. - src/main.rs메인 파일입니다. 실행 시 첫 진입점이 됩니다. - .gitignoreGit을 사용할경우 gitignore를 만들어줍니다. 기본적으로 .target/ 디렉토리가 무시되도록 설정되어있습니다  입출력아래 코드에 대한 설명을 하나하나 해보겠습니다.use std..

선수 지식강화학습과 정책 최적화정책(Policy): πθ(y|x)       - 에이전트가 특정 상태에서 어떤 행동을 선택할 확률.       - 여기서는 모델의 입력(prompt) x에 대해 출력 y를 생성하는 확률 분포를 정책으로 정의.보상 함수(Reward Function): r(x, y)       - 모델의 출력 y가 입력 x에 대해 얼마나 좋은지를 평가.       - 높은 보상: 선호되는 응답 (chosen outputs).       - 낮은 보상: 거부된 응답 (rejected outputs).기대 보상의 최적화     - 목표: 모델의 정책이 높은 보상을 받도록 최적화.       - 최적화 식: $\max_\theta \mathbb{E}_{x \sim D, y \sim \pi_\the..

Generative Adversarial Nets (GAN)생성적 적대 신경망 생성자 (Generator)와 판별자 (Discriminator)의  적대적 학습 (Adversarial learning)을 통해 성장하는 모델 '간'으로 발음하는 분이 계시는데 '겐'입니다 (제작자 오피셜) GAN의 구성요소입력 영상의 [Real] or [Fake]를 판별하는 Discriminator (판별자) 실제 이미지의 판별결과:  $$( \mathbb{E}_{x \sim p_{\text{data}}(x)} \left[ \log D(x) \right] )$$ x는 실제 데이터에서 샘플링 된 이미지, D(x)는 판별자가 이 이미지가 진짜라고 판단하는 확률 판별자가 실제 이미지를 진짜라고 올바르게 판단하도록 유도  가짜 이..