본문 바로가기

Enginius/Machine Learning

수학 용어 정리

Topology


공간은 그냥 어떤 set에 토폴로지를 부여한 것이다. 토폴로지는 subset의 set이라고 생각하면 되고, 아래 세 가지 조건을만족한다. 

1. 공집합과 모집합을 포함한다. 

2. 토폴로지는 그 어떤 합집합에 closed이다. 

3. 유한한 교집합에 closed이다.

토폴로지는 open set에서 시작한다. 토폴로지 차원에서는 (-1,+1)과 (-inf,+inf)를 구별하지 못한다. 둘 사이에는 homeomorphism이 존재한다. 사실 이 homeomorphism은 토폴로지의 특성을 유지시켜주는 매핑이다. 그래서 토폴로지에서는 'up to homeomorphism'까지 유의미하다. 자 그러면 토폴로지의 open set은 어떤 의미가 있을까?

이것은 우리에게 가까움의 정도, 혹은 식별 가능함의 정도를 알려준다. 다시 말해서 더 fine한 토폴로지를 갖고 있다는 것은 더 좋은 분해능을 갖고 있다고 볼 수 있다. (대륙, 나라, 주, 도시, 마을, 집 ..)




Completely metrizable space


는 일단 토폴로지 공간이다. 그리고 X에서 어떤 metric이 하나 존재해서, (X,d)를 complete metric space로 만들고, 이 metric이 토폴로지를 induce해야한다. 

-- Metric 공간이 complete하다는 것은 M에서의 Cauchy seqeunce가 M에서 converge한다를 뜻한다. 직관적으로 여기서 limit이 해당 공간을 벗어날 염려가 없다 정도? 

-- Metric이 topology를 induce한다는 것은 해당 metric를 이용해서 open set과 closed set을 정의할 수 있고, 이를 이용해서 topology를 만들 수 있다는 것을 의미한다. *모든 metric 공간은 자연스럽게 토폴로지 공간이다. 



Polish space


는 separable completely metrizable topological space이다. 몬소리야. 토폴로지 공간인데, complete metric 공간과 homeomorphic하다. 즉 continuous하고, inverse도 continuous한 매핑이 존재한다. 

- 대표적인 폴리시 공간은 real line이란다. 


Hausdorff space


In topology and related branches of mathematics, a Hausdorff space, separated space or T2 space is a topological space in which distinct points have disjoint neighborhoods. Of the many separation axioms that can be imposed on a topological space, the "Hausdorff condition" (T2) is the most frequently used and discussed. It implies the uniqueness of limits of sequences, nets, and filters.


Points x and y in a topological space X can be separated by neighbourhoods if there exists a neighbourhood U of x and a neighbourhood V of y such that U and V are disjoint (U ∩ V = ∅). X is a Hausdorff space if all distinct points in X are pairwise neighborhood-separable. This condition is the third separation axiom (after T0 and T1), which is why Hausdorff spaces are also called T2 spaces. The name separated space is also used.

- 몬소리야? 

그러니까 X란 공간이 있어. 그리고 토폴로지 공간이니까 어떤 점에 대해서 열리고 닫힌 공간을 정의할 수 있지. 그럼 이 공간에 두 점이 있을 때, 이 두 점을 가지고 겹치지 않는 (직관적으로!!) 오픈 볼을 잡을 수 있으면 그 공간이 하우스도르프 공간이라고 하는거다.

- 몬소리야? 

모든 metric space는 Hausdorff다. 그럼 나는 Hausdorff 가 아닌걸 상상하기를 포기한다. 



Hilbert Space 


The mathematical concept of a Hilbert space, named after David Hilbert, generalizes the notion of Euclidean space. It extends the methods of vector algebra and calculus from the two-dimensional Euclidean plane and three-dimensional space to spaces with any finite or infinite number of dimensions. A Hilbert space is an abstract vector space possessing the structure of an inner product that allows length and angle to be measured. Furthermore, Hilbert spaces are complete: there are enough limits in the space to allow the techniques of calculus to be used.


Geometric intuition plays an important role in many aspects of Hilbert space theory. Exact analogs of the Pythagorean theorem and parallelogram law hold in a Hilbert space. At a deeper level, perpendicular projection onto a subspace (the analog of "dropping the altitude" of a triangle) plays a significant role in optimization problems and other aspects of the theory. An element of a Hilbert space can be uniquely specified by its coordinates with respect to a set of coordinate axes (an orthonormal basis), in analogy with Cartesian coordinates in the plane. When that set of axes is countably infinite, this means that the Hilbert space can also usefully be thought of in terms of the space of infinite sequences that are square-summable. The latter space is often in the older literature referred to as the Hilbert space. Linear operators on a Hilbert space are likewise fairly concrete objects: in good cases, they are simply transformations that stretch the space by different factors in mutually perpendicular directions in a sense that is made precise by the study of their spectrum.


정의란 무엇일까? -...????

A Hilbert space H is a real or complex inner product space that is also a complete metric space with respect to the distance function induced by the inner product.

무한차 놈드 스페이스 랄까나? 

함수들의 공간이랄까나? 


Separable


나눠질 수 있는 공간. (?)

일단 토폴로지 공간에 부여되는 속성이다. 정의는 

In mathematics a topological space is called separable if it contains a countable, dense subset; that is, there exists a sequence {\displaystyle \{x_{n}\}_{n=1}^{\infty }} \{ x_n \}_{n=1}^{\infty} of elements of the space such that every nonempty open subset of the space contains at least one element of the sequence.

언제는 그렇든 몬소리지?

이 공간 속에 모든 nonempty open subset을 모두 포함하는 어떤 무한 sequence가 존재한다. 

예를 들어서, finite하거나 countable infinite (N)은 모두 separable하다. 즉 우리가 일반적으로 생각하는 것들은 대부분 separable하다. uncountable한 R도 separable하다. => d차원 유클리디안 공간도 separable하다. 


모든 metric space와 metrizable space도 separable하다. (요놈은 from wiki)

간단한게 만들어볼 수 있는 non-separable space는 R에 discrete metric를 주는 것이다. 

?!?!?!?!?!?!?!!?!?

위키가 틀렸다. -__-;; 여튼, R에 discrete metric을 주면 R의 모든 점을 정말 다 포함하는 sequence가 있어야 하는데, 이 수가 uncountable해진다. 그래서 있을 수 없고, separable하지 않다.


김기학님의 insightful 한 글


위상공간은 찰흙덩어리의 공간이죠.. 

=> 찰흙덩어리는 늘리고 뭉칠 수 있다. 그리고 늘려도, 뭉쳐도, 같은 찰흙이다. 물론 한덩어리를 떼어 버리면 달라진다. 


중딩 때 배운 합동이나 닮음으로 공간도형을 분류하기에 너무 빡세니 찰흙 정도로 늘리거나 구부려서 공간을 변형할 수 있다고 간주한 관점에서 공간도형을 분류하면 3차원 공간의 경우는 도합 8종류 밖에 나오니 적절한 분류 기준이 된다고 우길 수 있고.. 위상공간에 추가적인 좋은 구조를 줘서 정량적으로 양을 계산할 수 있게 하면 기하학이 되는 거지요. 

=> 갑작스렇게 등장한 기하학! 역시 김기학님. 결국 homology group같이 invariant를 정의하면서 시작된다. 


그리고 인간이 아는 건 기껏해야 다항식이니까 공간을 실제적으로는 다항식의 해집합으로 간주하면 하우스도르프는 포기해야 하는 위상을 줘야해서 같은 공간에 하나는 유클리드 공간 스러운 찰흙을 주고 동시에 하우스도르프가 아닌 찰흙도 동시에 고려하는 경우가 복소기하 및 대수기하의 공간들인데 stochastic process로 접근해야 하는 문제들이 있어서 내년 봄까지는 고전적인 복소기하 하다가 아마 내년 여름 정도에 하나 덤벼볼 것 같습니다..

=> 여기서부터는 이해를 포기한다. 


Homology


In mathematics, homology[1] is a general way of associating a sequence of algebraic objects such as abelian groups or modules to other mathematical objects such as topological spaces. Homology groups were originally defined in algebraic topology. 


*Abelian group: In abstract algebra, an abelian group, also called a commutative group, is a group in which the result of applying the group operation to two group elements does not depend on the order in which they are written. That is, these are the groups that obey the axiom of commutativity. Abelian groups generalize the arithmetic of addition of integers. 즉 어떤 그룹이 있는데, 여기에 그룹 연산을 했을 때 순서에 무관하면 요 집합이 아벨리안 그룹이다. 예를 들어 더하기나 곱하기의 경우 순서에 무관한데, 요 그룹이 더하기를 일반화 한다고 볼 수 있다. 

*Module: In mathematics, a module is one of the fundamental algebraic structures used in abstract algebra. A module over a ring is a generalization of the notion of vector space over a field, wherein the corresponding scalars are the elements of an arbitrary given ring (with identity) and a multiplication (on the left and/or on the right) is defined between elements of the ring and elements of the module. Thus, a module, like a vector space, is an additive abelian group; a product is defined between elements of the ring and elements of the module that is distributive over the addition operation of each parameter and is compatible with the ring multiplication.

모듈은 additive abelian group이다. 즉 더하기에 닫혀있는 공간이라고 볼 수 있다. 두 개를 골라서 연산을 때리면 그 연산은 commutive하고, 그 결과가원래 공간에 속해있다. 


Similar constructions are available in a wide variety of other contexts, such as abstract algebra, groups, Lie algebras, Galois theory, and algebraic geometry.

- 자 분명 영어긴 한데, 무슨 소린지 하나도 모르겠다. 


The original motivation for defining homology groups was the observation that two shapes can be distinguished by examining their holes. 

- 그렇지, 이런걸 알려줘야지 그나마 나같은 사람이 이해를 하지. 구멍이 몇 개 있는지 세어봅시다. 이런건가?

For instance, a circle is not a disk because the circle has a hole through it while the disk is solid, and the ordinary sphere is not a circle because the sphere encloses a two-dimensional hole while the circle encloses a one-dimensional hole. However, because a hole is "not there", it is not immediately obvious how to define a hole or how to distinguish different kinds of holes. Homology was originally a rigorous mathematical method for defining and categorizing holes in a manifold. Loosely speaking, a cycle is a closed submanifold, a boundary is a cycle which is also the boundary of an (open or closed) submanifold and a homology class (which represents a hole) is an equivalence class of cycles modulo boundaries. A non-trivial equivalence class is thus represented by a cycle which is not the boundary of any submanifold. A hypothetical manifold whose boundary would be that particular cycle is "not there" which is why that cycle is indicative of the presence of a hole.


  

위의 두 그림은 surface를 homology를 이용해서 구분하는 것을 나타낸다. 



(Differentiable) Manifold


본업으로 돌아온 관리자입니다. 요즘 공부한 미분위상수학에 대해 이야기해보겠습니다. 한동안 사용할 main reference는 John Milnor의 명저 [Topology from the Differentiable Viewpoint] 그리고 [내 뇌]입니다. 미분위상수학에서 다루는 기초적인 몇 가지 도구들에 대해 알아보도록 합시다. 그 전에, 우리가 다룰 대상이 무엇인지부터 알아야 하겠죠. 우리가 지금부터 다룰 친구들은 바로 manifold입니다. 한국어로는 “여러 겹”...은 아니고 “다양체”라고 부릅니다. 다양체는 좀 멋있어 보이지만 manifold는 별로 멋이 없네요. 구글에 검색하면 무슨 파이프 사진들만 나옵니다. 이렇게 간지나는 개념에 이렇게 허접한 이름을 붙이다니 정말 수학자들은 센스가 없네요. 물리학자들이었다면 여기에 어떤 간지나는 이름을 붙였을까요? 


먼저 smooth manifold의 정의를 복습합시다. Manifold란 (1) Locally Euclidean (2) Hausdorff (3) Second countable 인 위상공간 M을 의미합니다. (1) 조건은 말 그대로 local하게 보면 Euclidean space와 위상적으로 똑같다는 말입니다. 구체적으로 말하자면 M의 open cover {U_i}, ℝ^n 위의 open set들 {V_i} 그리고 homeomorphism φ_i: V_i→U_i 들이 존재한다는 말입니다. 우리는 (U,φ,V)를 M의 chart라고 부릅니다. M의 국소적인 구조만을 볼 때는 chart를 보는 것으로 충분하죠. 그리고 모든 chart를 모은 것을 atlas라고 부르고 대충 A라고 씁시다. 우리가 manifold라고 말할 때는 위상공간 M만을 보는 것이 아니고, 사실은 (M,A)의 pair를 보고 있다고 생각하는 것이 편합니다. (2)는 그냥 그러려니 합시다. 세상에 점을 open set으로 구분할 수 없는 공간이라니 너무 슬프잖아요? (3)은 paracompactness로 대체되곤 하는데, 간단히 말해 partition of unity를 사용하기 위한 조건입니다. M의 open cover {U_i}를 생각합시다. 이 위의 partition of unity {ρ_i}는 다음을 만족시키는 함수들입니다. a) ρ_i: M→[0,1], continuous b) supp(ρ_i)⊂U_i c) 어떤 p∈M에 대해서도 ρ_i(p)≠0인 i의 개수는 유한 d) ∑ρ_i=1 이런 함수가 왜 필요한지는 차차 깨닫게 되겠지만, 간단히 스포하자면 local structure를 이어붙여주는 역할을 해주기 때문입니다. 예컨대 chart 위에 새로운 구조를 정해주는 ℝ-vector space valued ψ_i들을 정의했다고 합시다. 이걸 manifold 전체로 확장시키고 싶다면, Ψ=∑ρ_i ψ_i 라고 해주면 되죠. 어려운 말로는 manifold 위에 정의된 presheaf를 sheaf로 만들어주는 역할을 한다고 보면 될 듯 합니다. 


이제 manifold들 사이의 morphism은 무엇일지를 생각해 봅시다. (2), (3) 등의 어느 정도 technical한 조건을 붙이긴 했지만 우리에게 가장 중요한 조건은 (1)입니다. 그러니까 local하게 보면 ℝ^n에서와 같은 방식의 위상수학을 전개할 수 있는 공간이라는 뜻입니다. 그렇다면 우리는 manifold 사이의 morphism이 담아야 하는 정보는 위상적인 정보이고, 그 외의 정보를 담을 필요가 없다는 생각을 할 수 있습니다. 따라서 manifold 사이의 morphism은 다름아닌 continuous map 모두가 됩니다. 즉, manifold를 object로 삼는 카테고리 Mfd는 Top의 full subcategory라는 말이죠. 그렇다면 smooth manifold는 무엇일까요? (Smooth란 무한 번 미분 가능하다는 말입니다.) 윗 문단에서의 관점을 가져오면, ℝ^n에서와 같은 방식의 미분을 전개할 수 있는 공간이어야 할 겁니다. Local하게는 아무런 문제가 없습니다. Homeomorphism이 있으니 chart (U,V)에 대해서 [U⊂M에서의 미분은 V⊂ℝ^n에서의 미분과 같다!] 라고 선언하면 되죠. 너무 쉽네요? 하지만 이대로 이론을 전개하려 하면 문제가 생깁니다. p∈M이라는 점 근처에서의 미분을 얘기하고 싶은데, 만약 이 친구가 U_i에도 속하고 U_j에도 속하면 어떡하죠? U_i의 미분과 U_j의 미분이 서로 다르면 어떻게 하나요? 이 문제를 해결하기 위해, intersection에서의 미분이 잘 어울린다는 것을 말해줘야 할 겁니다. 그러니까 두 개의 서로 다른 미분구조를 이어주는 친구가 필요하다는 말이죠. 즉, 우리는 다음을 생각합니다. g_ij=φ_j^{-1}∘φ_i: φ_i^{-1}(U_i∩U_j)→φ_j^{-1}(U_i∩U_j) 여기서 g_ij는 단순히 유클리드 공간의 열린 집합들 사이의 함수가 되고, 이 녀석에 대한 미분가능성은 우리가 이미 잘 알고 있습니다. 즉, manifold의 정의에 추가로 (4) g_ij들이 모두 미분가능하다 라는 조건을 추가해준다면 M은 smooth manifold가 되는 겁니다. 


Rmk. 약간 다른 관점에서 보면, manifold는 유클리드 공간을 덕지덕지 붙인 것이고, smooth manifold는 덕지덕지 붙일 때 smooth하게 붙인 것이라 말할 수 있습니다. 자세한 내용은 페이지에서 해쉬태그 manifold를 검색해보세요! 그런데 smooth manifold만 있으면 우리는 그 다음 아무것도 얘기할 수 없습니다. 카테고리의 관점에서 보면, smooth manifold라는 것은 object들일 뿐이니까요. 이는 윗 문단에서도 은밀하게 드러나고 있습니다. 우리는 미분 구조라는 것을 계속 얘기했고, 유클리드 공간에서와 같은 방식으로 미분한다고 했지만 정작 구체적으로 이 두 가지를 어떻게 표현할지를 말한 적이 없거든요. 카테고리를 공부하며 우리가 얻은 철학은 다음과 같습니다. 우리의 철학. Object들은 morphism과 함께 볼 때 비로소 의미를 가진다. Yoneda Lemma. Morphism을 보는 것은 사실 object를 보는 것과 같다. 그러니 이제 smooth manifold 사이의 morphism, 소위 smooth map도 정의해줘야 하겠죠. 어떻게 정의하는게 좋을지를 생각해 봅시다. 


저번에도 말했듯, smooth manifold는 [locally ℝ^n 위에서와 똑같은 방식의 미분을 전개할 수 있는 공간] 을 의미합니다. 그러니까 우리가 원하는 morphism은 ‘미분 가능한 함수’입니다. 우리가 잘 알고 있듯 미분가능성은 local property죠. 함수 f:M→M’ 이 있다고 합시다. f가 p∈M에서 미분가능하다는 것을 정의해봅시다. Local viewpoint를 위해서 p를 포함하고 있는 U⊂M, 그리고 f(p)를 포함하고 있는 U’⊂M’을 가져옵시다. 여기서 당연히 U,V는 유클리드 공간의 open subset V, V’과 φ, φ’라는 함수들로 위상동형이 되는 M, M’의 open subset입니다. 우리는 U의 미분구조가 V와 같기를 원합니다. 그러면 f 대신 이런 함수를 생각할 수 있겠죠. f_loc=φ’^{-1}∘f∘φ: V→U→U’→V’ 여기서 V, V’에 대한 미분은 우리가 잘 알고 있습니다. 그러면 f가 p에서 미분가능하다는 것을 f_loc이 미분가능한 함수라는 것이라고 말할 수 있죠. 그리고 transition map g_ij가 미분 가능하다는 조건은 바로 f의 미분가능성이 f_loc의 선택, 즉 U와 φ를 무엇으로 고르는지에 무관하다는 것을 말해줍니다. 이 정의가 바로 M에서의 미분을 유클리드 공간에서의 미분과 일치시켜주는 역할을 하게 됩니다. 다음 시간에는 구체적으로 이런 smooth map들을 어떻게 미분할지에 대해 알아봅시다.


어제는 smooth manifold에 대해서 알아봤고, 그들 사이의 smooth map이란 무엇인지에 대해 알아보았습니다. 우리는 smooth하지 않은 manifold와 map에는 별로 관심이 없으니 smooth manifold, smooth map 대신 manifold, map라고만 하겠습니다. 이제부터 map을 직접 미분하는 방법을 알아보도록 합시다.


 먼저 유클리드 공간에서의 미적분을 복습해봅시다. 우리는 미분가능한 함수 f:ℝ^n→ℝ 이 있을 때, 이 녀석의 p∈ℝ^n에서의 미분을 df_p=(∂f/∂x^1)dx^1+⋯+(∂f/∂x^n)dx^n 으로 정의했습니다. (이 뒤로 한동안 p에서 미분했다는 의미에서 붙이는 index p를 떼도록 합시다.) 편미분에 대한 설명은 생략해도 되리라 믿습니다. 그리고 gradient라는 것도 정의한 적 있죠. 이는 ∇f=grad(f)=(∂f/∂x^1,⋯,∂f/∂x^n) 라는 vector field였습니다. 그리고 f의 “방향 미분”이라는 것도 정의한 바 있죠. v라는 방향으로의 f의 미분은 ∇_v(f)=lim[f(x+hv)-f(x)/h] 로 정의했고, 이것이 사실 grad(f)∙v라는 것도 알고 있습니다.일반적으로 f: ℝ^n→ℝ^m 에 대해서는 Jacobian이라는 것을 정의했죠. 이는 구체적으로 f(x_1,⋯,x_n)=(f_1(x_1,⋯,x_n),⋯,f_m(x_1,⋯,x_n)) 이라고 썼을 때, Jac(f)_ij=(∂f_i/∂x_j) 인 행렬이었습니다. 또한 어렴풋이 Jac(f)는 f와 가장 가까운 linear map이라고 말했던 것도 기억납니다.


 이제 미분이 뭔지 한번 곰곰히 생각해봅시다. Jac(f)는 componentwise 미분계수를 말해준다고 볼 수도 있죠. 하지만 이건 간지가 나지 않는 시각입니다. 우리는 먼저 미분이 coordinate-free할 것을 요구합니다. 그러니까 x_1,⋯,x_n이라는 좌표계는 우리가 임의로 잡은 것이고, 예컨대 3차원에서 spherical coordinate을 쓴다던가 하더라도 [f를 미분한 것]은 변하지 않아야 한다는 뜻이죠. 그렇다면 우리는 Jac(f)를 basis-dependent한 표현인 행렬로 보는 것이 아니라, basis-independent한 linear map으로 봐야 하겠죠.


그렇다면 이것은 어디에서 어디로 가는 linear map일까요? 이를 위해 우리는 Jac(f)(v)라는 표현을 뜯어봅니다. 먼저 domain이 1차원인 쉬운 경우를 보자구요. 우리가 찾고 싶은 것은 linear map인데, grad(f)는 벡터장이니 마음에 들지 않습니다. 그러면 linear map으로는 무엇이 있었나요? 그건 바로 df입니다. 구체적으로, ℝ^n의 basis를 x_1,⋯,x_n으로 표기합시다. (지금은 이들을 직관적으로 점이 아닌 벡터로 취급합니다.) 그리고 dx^i(x_j)=δ^i_j 라고 정의합시다. 즉 dx^i들을 x_1,⋯,x_n에 대한 ‘dual basis’로 취급하겠다는 말이죠. 그렇다면 df=∑(∂f/∂x^i)dx^i=∑∂_i f dx^i (shorthand notation) 라고 정의한 df는 linear map ℝ^n→ℝ이 될 겁니다. 그리고 우리는 간단한 계산을 통해 df(v)=grad(f)∙v 라는 것을 쉽게 확인할 수 있습니다. 즉, df(v)는 단순히 f의 v-방향으로의 미분계수가 된다는 말이죠.


 이제 이 시각을 Jac(f)로 가져옵시다. 그렇다면 Jac(f)(v)는 f의 v-방향으로의 미분이 될 겁니다. 그런데 이건 더이상 ‘미분계수’가 아니죠. Jac(f)(v)는 m-개의 component를 가지게 됩니다. 즉, 우리는 다음과 같은 철학을 얻었습니다. [f: ℝ^n→ℝ^m을 미분하면 Jac(f)=df_p: ℝ^n→ℝ^m을 얻는다.] 여기서 df_p라는 표기는 점 p에서 Jac(f)의 coordinate-free notation이며, 구체적으로 df_p=(∂f/∂x^j)dx^j 가 되겠습니다. 여기서 ∂f/∂x^j는 (∂f_1/∂x^j,⋯,∂f_m/∂x^j)라는 벡터의 short-hand notation입니다. 좋아요. 이제 Jacobian에 대해 알만큼 안 것 같습니다. 그런데 마음에 걸리는 부분이 있습니다. 우리가 f: ℝ^n→ℝ^m이라 말할 때는 ℝ^n을 그냥 유클리드 공간, 정확히 말하자면 manifold의 일종으로 보고 있는 것인데 df_p: ℝ^n→ℝ^m이라 말할 때는 ℝ^n을 벡터 공간으로 보고 있는 것이죠. 즉, df_p가 놀고 있는 곳은 벡터 공간의 세상이고, f가 놀고 있는 곳은 manifold의 세상입니다. 이들은 “완전히 다른” 동네입니다! 그렇다면 df_p가 사는 동네의 정체는 무엇일까요? 


이는 df_p의 직관적인 정의를 보면 알 수 있습니다. 우리는 위에서 df_p(v)가 [v-방향으로의 미분] 이라고 말한 것이 있습니다. 즉, v는 p라는 점 근처에서의 방향을 말해주는 벡터입니다. 이게 뭘까요? 예를 들어서, ℝ^n 말고 가장 간단한 공간인 구면 S^2를 생각해 봅시다. S^2의 한 점에서의 ‘방향을 말해주는 벡터’가 무엇일까요? 바로 tangent vector (접벡터)라고 불리는 그것입니다. df_p는 ℝ^n의 p에서의 ‘접벡터’를 ℝ^m의 f(p)에서의 ‘접벡터’로 옮겨주는 선형사상이 된다는 말입니다! 다시 말해서, df_p는 ℝ^n의 p에서의 tangent space (접공간)에서 ℝ^m의 f(p)에서의 tangent space로 가는 선형사상이라는 말이죠. 우리는 이걸 fancify하여 df_p: Tℝ^n_p → Tℝ^m_{f(p)} 이라 표기합니다. 다음 시간에는 이 논의를 그대로 manifold로 확장해보도록 하겠습니다. 물론 그를 위한 준비 작업도 필요하겠죠.


Gumbel Distribution


In probability theory and statistics, the Gumbel distribution (Generalized Extreme Value distribution Type-I) is used to model the distribution of the maximum (or the minimum) of a number of samples of various distributions. This distribution might be used to represent the distribution of the maximum level of a river in a particular year if there was a list of maximum values for the past ten years. It is useful in predicting the chance that an extreme earthquake, flood or another natural disaster will occur. The potential applicability of the Gumbel distribution to represent the distribution of maxima relates to extreme value theory, which indicates that it is likely to be useful if the distribution of the underlying sample data is of the normal or exponential type. The rest of this article refers to the Gumbel to model the distribution of the maximum value. To model the minimum value, use the negative of the original values.


The Gumbel distribution is a particular case of the generalized extreme value distribution (also known as the Fisher-Tippett distribution). It is also known as the log-Weibull distribution and the double exponential distribution (a term that is alternatively sometimes used to refer to the Laplace distribution). It is related to the Gompertz distribution: when its density is first reflected about the origin and then restricted to the positive half line, a Gompertz function is obtained.


In the latent variable formulation of the multinomial logit model — common in discrete choice theory — the errors of the latent variables follow a Gumbel distribution. This is useful because the difference between two Gumbel-distributed random variables has a logistic distribution.



Max-stable Distribution


자료: http://www.math.nus.edu.sg/~matsr/ProbI/Lecture12.pdf

Let '$(X_i)_{i \in \mathbb{N}}$' be a sequence of i.i.d. real-valued random variables. 

이 때 우리가 관심있어야하는 것 중 하나는 

$$ M_n = \underset{1 \le i \le n}{\max} X_i $$

이다. 즉 어떤 분포에서 나오는 i.i.d. 확률 변수 중에 제일 큰 값이 무엇인가이다. 예를 들어서 관측된 지진의 강도가 될 수 있다. 물론 실제 환경에서는 i.i.d. 가정은 적합하지 않다. 하지만 이는 언제나 우리에게 좋은 시작점이 된다. 일반적으로 알 수 있는 것 중 하나는 (?) 처음에 얻는 관측은 적은 값이여도, '$n$'이 무한대가 되면, '$M_n$'도 확률적으로 무한대가 될 수 있다는 것이다. 우리가 관심있는 fundamental question은 


어떤 '$a_n>0$'과 '$b_n \in \mathbb{R}$'이 존재해서, '$\frac{M_n-b_n}{a_n}$'을 non-trivial limit으로 converge in distribution 시킬 수 있을까? 그리고 이를 만족하는 '$a_n$'과 '$b_n$'이 가질 수 있는 limiting distribution은 어떤 것일까? 


놀랍게도 오직 세 가지 limiting distribution만 존재할 수 있다. 

1. Gumbel distribution

2. Frechet distribution

3. Weibull distribution

그리고 이들을 extreme value distribution이라고 부른다. 

어떤 두 분포가 같은 type이라는 것은 random variable을 affine map을 통해서 옮긴 다른 것이 같은 분포를 갖게 될 때이다. 대충 알아듣자. 

Max-stable distribution의 정의






























'Enginius > Machine Learning' 카테고리의 다른 글

Google Developer Expert  (0) 2017.12.11
Graphical model  (0) 2017.12.06
Riemannian Manifold  (0) 2017.10.21
A Gentle Start in Machine Learning  (0) 2017.06.25
강화 학습이란?  (2) 2017.05.24